agentisk kontekstlag AI-agenter forkert svar

Når en AI-agent tager selvsikkert fejl, er den mest almindelige forklaring simpel. Agenten har adgang til sprog, men ikke til virksomhedens faktiske tilstand. Den kender ikke den seneste prisliste, den ved ikke, at kunde X har en særaftale, og den har ikke set gårsdagens opdatering af lagerstatus. Alligevel svarer den, fordi den er bygget til at svare. Sprogmodellen genererer et flydende, grammatisk korrekt svar, uanset om den underliggende viden er frisk eller forældet.

Det betyder, at problemet ikke løses ved at bytte model eller finpudse prompten. Det løses ved at styre, hvilken kontekst agenten får lov at bruge, hvornår den henter den, og hvordan den prioriterer modstridende kilder. Uden det lag gætter agenten sig til sammenhænge, den burde have slået op, og gætterier klædt i selvsikkert sprog er sværere at opdage end et tydeligt "det ved jeg ikke".

Mange organisationer løser konteksthullet ved at hælde alt ind i en vektordatabase og kalde det retrieval-augmented generation. Det virker på papiret, men i praksis henter denne metode ofte den tekst, der ligner spørgsmålet mest, ikke den information, der faktisk er relevant for beslutningen. En kundeserviceagent kan finde tre forskellige politikdokumenter, der delvist modsiger hinanden, og vælge det, der matcher ordlyden bedst, uden at vide, hvilket dokument der er gældende.

Den forkerte metode viser sig typisk ved, at agenten performer flot i demoer med rene testdata, men falder igennem i produktion, hvor virksomhedens egen dokumentation er rodet, forældet eller spredt over flere systemer. En demo beviser, at en agent kan. Produktion beviser, at den gør det igen, på det dårlige input. Løsningen er ikke mere data ind i søgeindekset. Det er struktureret kontekst: klare regler for, hvilken kilde der vinder, hvornår information er for gammel til at bruge, og hvilke felter der skal valideres mod et autoritativt system, før agenten må svare.

Det forklarer, hvorfor stort set alle større AI-leverandører nu bygger deres egen version af et kontekstlag, ofte under forskellige navne, men med samme mål. Agenten skal vide, hvad der er sandt, lige nu, i denne virksomhed. Nogle løsninger bygger på struktureret metadata oven på eksisterende systemer. Andre satser på løbende synkronisering mellem agenten og kildesystemerne, så svar altid afspejler den nyeste tilstand frem for et statisk øjebliksbillede fra sidste indeksering.

Fælles for tilgangene er, at ingen af dem er et hyldevareprodukt, man bare tænder. Undersøgelsen sætter tal på afstanden. Kun omkring en fjerdedel, 25 procent, har i dag et egentligt styret kontekstlag i produktion. 34 procent er i gang med at bygge et, og 41 procent er slet ikke begyndt. Det efterlader et vindue, hvor konkurrencefordelen ikke ligger i, hvem der har den bedste model, men i hvem der har styr på konteksten omkring den.

At bygge et kontekstlag handler ikke om at vælge det rigtige værktøj først. Det starter med at kortlægge, hvilke beslutninger agenten faktisk skal træffe, og hvilke datakilder der er autoritative for hver af dem. Dernæst skal der defineres regler for friskhed. Hvor gammel må en pris, en lagerstatus eller en kundeaftale være, før agenten skal slå den op på ny i stedet for at stole på et cachelagret svar.

Det kræver også, at nogen tager ansvar for konflikter mellem kilder. Hvis to systemer siger noget forskelligt, skal agenten have en klar prioritering at følge, ikke en statistisk gætning baseret på tekstlighed. Endelig bør agenten kunne markere usikkerhed, når konteksten reelt mangler, i stedet for at fylde hullet med et selvsikkert, men ubegrundet svar. For mig er den sidste del ikke til forhandling. Kan du ikke se, hvad agenten gjorde, og hvorfor, har du ikke en medarbejder, du har en risiko med god pr. Virksomheder, der får dette på plads først, får ikke bare færre fejl. De får agenter, medarbejderne rent faktisk kan stole på i den daglige drift. Og det er i sidste ende det, der afgør, om en AI-agent bliver brugt eller droppet efter få uger.