HarnessX: AI-agent der omskriver sig selv

Det meste af opmærksomheden omkring AI-agenter handler om selve modellen. Hvor stor den er, hvor godt den ræsonnerer, hvor mange tokens den kan holde i kontekst. I drift er det noget andet, der afgør, om agenten løser opgaven pålideligt igen og igen. Det er harnessen, der beskriver, hvilke værktøjer agenten må bruge, hvordan den skal formatere sine svar, og hvad der skal ske, når noget går galt undervejs.

Problemet er, at en harness typisk bliver skrevet en gang af et menneske og derefter genbrugt uændret, uanset hvilken model der kører bag den, og uanset hvilke opgaver den møder i produktion. Pointen med HarnessX er, at den statiske tilgang efterlader gevinster på bordet. Hvis harnessen kunne observere sine egne fejlslagne forsøg og justere sig selv, ville agenten blive bedre uden at nogen rørte modellen.

Kernen i HarnessX er en komponent, forskerne kalder AEGIS. Den gennemgår agentens eksekveringsspor, altså den fulde rækkefølge af beslutninger, værktøjskald og resultater fra en opgaveløsning, og finder de steder, hvor harnessen selv var årsag til fejlen. Det kan være en uklar instruktion, der fik modellen til at misforstå et værktøjs formål, eller en manglende fejlregel, der lod agenten arbejde videre på et forkert grundlag.

Når AEGIS finder sådan et mønster, omskriver den den relevante del af harnessen uden at et menneske griber ind. Ændringerne genereres med reinforcement learning på sporene og valideres derefter mod tidligere løste opgaver, så systemet ikke glemmer det, der allerede virkede. Det er forskellen på dette og almindelig prompt-tuning, hvor en udvikler manuelt retter instruktioner efter observerede fejl. Her lukker systemet selv løkken mellem observation og rettelse, løbende, mens agenten arbejder gennem en strøm af opgaver.

Det vigtige er, at forbedringen sidder i stilladset, ikke i modellens vægte. Man kan tage den forbedrede harness og sætte den foran en anden model uden at gentræne noget som helst.

Den kløft mellem gennemsnittet og den mindste model er ikke tilfældig. Den peger på, at en stor del af den performance, større modeller demonstrerer i benchmarks, i virkeligheden er evnen til selv at kompensere for en dårligt skrevet harness. En stor model kan ofte regne ud, hvad en tvetydig instruktion egentlig betyder, eller selv opdage, at et værktøjskald gik galt, og forsøge igen på egen hånd. En lille model har sjældnere den kapacitet, og derfor rammer en dårlig harness den hårdere - og en god harness løfter den tilsvarende mere.

Store modeller bruger en del af deres ræsonneringskapacitet på at navigere rundt om harnessens svagheder. Når harnessen selv bliver bedre til at guide, formatere og fejlhåndtere, frigør det ikke noget nyt hos den store model, for den kompenserede allerede. Hos en mindre model, der ikke kan gætte sig til den rette instruks, betyder en præcis harness, at kapaciteten går til selve opgaven i stedet for til at afkode uklare rammer.

Det udfordrer en antagelse, mange organisationer arbejder ud fra uden at sige den højt: at kvalitetsproblemer løses ved at opgradere til en større og dyrere model. Resultaterne peger på, at en betydelig del af den forskel, man tilskriver modelstørrelse, kan hentes i stilladset omkring modellen.

Vi arbejder løbende med at sætte AI-agenter i produktion for danske virksomheder, og valget mellem en stor, dyr model og en mindre, billigere model er en tilbagevendende afvejning, når vi bringer AI-agenter i produktionsdrift. HarnessX-resultaterne bekræfter noget, vi allerede ser i praksis: harnessen er ikke et sekundært designvalg, den er en direkte løftestang for, hvilken model der reelt kan levere den ydeevne, en opgave kræver.

Det praktiske konsekvens er, at før man konkluderer, at en opgave kræver en større model, bør man spørge, om harnessen omkring den mindre model rent faktisk er skrevet skarpt nok. Uklare værktøjsbeskrivelser, manglende fejlhåndtering og upræcise formateringskrav koster mest hos de modeller, man helst vil køre i stor skala, fordi de er billigst.