Fire lag kontekstengineering for AI-agenter i produktion

En AI-agent fejler sjældent i produktion, fordi modellen er for svag

En AI-agent fejler sjældent i produktion, fordi modellen er for svag. Den fejler, fordi konteksten løber løbsk: for meget irrelevant materiale, for lange værktøjssvar og for mange opgaver i samme samtale. Open source-eksemplet Deep Insight viser, hvordan man holder konteksten stram i fire lag, og de fire lag kan et dansk team bruge allerede nu.

Kontekst

Kontekst er den reelle flaskehals for agenter i drift

I en demo har en agent én opgave, et kort input og ingen konsekvenser. I drift får den uens data, lange dokumenter, flere værktøjer og brugere, der stiller opgaven på tre forskellige måder. Hvert trin skriver noget ind i modellens kontekstvindue, og det vindue er begrænset. Når det fyldes med støj, falder kvaliteten. Agenten glemmer tidlige instruktioner, blander fakta fra forskellige kilder eller gentager arbejde, den allerede har lavet.

Derfor handler stabil drift for mig mindre om at vælge den største model og mere om at bestemme, hvad der overhovedet får lov at komme ind i konteksten. Indlægget deler problemet i fire lag, som hver tager en bid. Ingen af dem er nok alene. Et godt prompt redder ikke en arkitektur, hvor én agent skal vide alt.

Et godt prompt redder ikke en arkitektur, hvor én agent skal vide alt.

Arkitektur

Arkitekturen afgør, hvad hver agent skal vide

Det første lag er opdelingen af arbejdet. I stedet for én agent med alle værktøjer og al viden får hver agent en afgrænset rolle og kun den kontekst, rollen kræver. Det er den måde, jeg selv bygger på.

Det giver to gevinster. Konteksten for hver agent forbliver lille, fordi den ikke bærer rundt på de andres mellemregninger. Og fejl bliver lettere at lokalisere, fordi man kan se, hvilken agent der fik hvilken information. Til gengæld kræver det, at man tænker over grænsefladerne. Hvad skal en agent aflevere videre, og i hvilket format? Hvis svaret er "alt, hvad den har fundet", er man tilbage ved det oprindelige problem.

Min tommelfingerregel er at skrive for hver agent, hvad den skal vide, hvad den ikke skal vide, og hvad den skal returnere. Det er et kort dokument. Det afgør mere end de fleste prompt-justeringer.

Prompts

Prompts, der styrer opgaven uden at fylde konteksten

Det andet lag er selve prompten. Fristelsen er at lægge alle regler, undtagelser og eksempler ind i en lang systemprompt, fordi det føles sikkert. I praksis konkurrerer instruktionerne med hinanden og med de data, agenten arbejder på.

En bedre prompt er kort og konkret. Den beskriver målet, de vigtigste begrænsninger og det forventede output. Detaljer, som kun gælder i bestemte situationer, hører til i det trin, hvor de bruges, ikke i en fast indledning, der følger med i hvert eneste kald.

Prompts bør desuden behandles som kode. De versioneres, testes mod faste opgaver og ændres bevidst. Når en agent begynder at opføre sig anderledes, vil jeg kunne pege på den ændring, der udløste det.

Værktøjer

Filbaserede værktøjer holder store data ude af modellen

Det tredje lag handler om store datamængder. Hvis en agent henter en stor tabel eller et langt dokument og lægger det direkte i konteksten, er vinduet fyldt, før arbejdet er begyndt. Og en sprogmodel er alligevel dårlig til at tælle, filtrere og summere store tabeller.

Løsningen er at lade værktøjerne arbejde på filer. Dataene gemmes uden for modellen, og agenten får en reference og en kort beskrivelse af indholdet. Når den skal bruge noget, kalder den et værktøj, der læser filen, udfører beregningen og returnerer et lille, præcist resultat.

Fordelene er konkrete. Konteksten holdes lille, regnearbejdet udføres deterministisk af kode i stedet for af en sprogmodel, og der opstår et spor af filer, som man kan genafspille og inspicere bagefter. Det er det sidste, der taler til mig. Kan jeg ikke se, hvordan et tal er nået frem, har jeg ikke en medarbejder, men en risiko.

Kontrol

Verificeringsagenter kontrollerer output, før det bruges

Det fjerde lag er kontrollen. Selv med en snæver kontekst kan en agent levere noget, der ser rigtigt ud, men ikke er det. En separat verificeringsagent gennemgår derfor resultatet, før det går videre til brugeren eller til næste trin.

Min erfaring er, at verificering virker bedst, når den har et andet udgangspunkt end den agent, der producerede svaret. Den bør se på resultatet og de kilder, det bygger på, og have en klar tjekliste frem for en vag opgave som "kontroller svaret". Finder den fejl, går opgaven tilbage med en konkret beskrivelse af, hvad der skal rettes.

Det koster ekstra kald, og det må man regne med. Men for output, der bruges i beslutninger, rapporter eller kundekontakt, er prisen lav sammenlignet med at opdage fejlen hos modtageren. Verificering erstatter ikke menneskelig kontrol i de mest følsomme processer. Den fjerner bare de fejl, en person aldrig burde bruge tid på at finde.

Praksis

Det kan et dansk team tage med til egen drift

Deep Insight er et eksempel, ikke en færdig opskrift, og de enkelte valg skal tilpasses den konkrete opgave. Men mønstret er overførbart. Et team, der vil have en agent fra prototype til drift, kan gå lagene igennem i rækkefølge.

  • Start med arkitekturen: Skriv for hver agent, hvad den skal vide, og hvad den skal aflevere. Hvis rollerne ikke kan beskrives kort, er de for brede.
  • Skær prompterne ned: Fjern regler, der kun gælder i sjældne tilfælde, og flyt dem til det trin, hvor de bruges.
  • Flyt store data ud i filer: Lad værktøjer læse, filtrere og regne, og giv kun modellen resultatet.
  • Indfør en verificeringsagent: Begynd med de output, der har størst konsekvens, og giv den en tjekliste frem for en vag opgave som "kontroller svaret".

Rækkefølgen har en pointe. Hvis man begynder med verificering, bruger man penge på at fange fejl, som en bedre arkitektur ville have forhindret. Hvis man kun arbejder med prompts, flytter man problemer rundt uden at fjerne årsagen.

Måler man undervejs, ser man hurtigt, hvilke lag der gør forskel i netop ens eget tilfælde: antal kald pr. opgave, andelen af svar der sendes tilbage af verificeringen, og hvor ofte brugerne retter resultatet. Det er de tal, der viser, om konteksten er under kontrol, og de er langt mere brugbare end indtrykket af, at agenten "virker fint" i en demo.

01 / 01

Et øjeblik…

Henter spørgsmål…

1 / 4

Vælg ydelse

Henter ydelser…