Self-Harness: AI-agenter forbedrer egne

Kernen i Self-Harness er en løkke i tre trin, som kører parallelt med selve opgaveløsningen. Først udfører agenten en opgave efter sit eksisterende regelsæt, de instruktioner og begrænsninger, der normalt sidder fast i en systemprompt eller et konfigurationsdokument. Dernæst analyserer agenten sin egen præstation: hvor gik det galt, hvilke antagelser holdt ikke, og hvilke regler var enten for stramme eller for løse til den konkrete opgave. Til sidst skriver agenten en opdateret version af sit eget regelsæt og fortsætter med den nye version som grundlag for næste forsøg.

Det, der adskiller dette fra almindelig finetuning eller prompt-tuning, er at hele processen sker uden menneskelig kontrol og uden at modellens vægte ændres. Reglerne, ikke modellen, er det, der udvikler sig. Det gør revisionen billig at køre og gennemsigtig at inspicere, fordi man som operatør kan læse den opdaterede regel i klartekst og se præcis, hvad agenten har ændret og hvorfor.

Terminal-Bench-2.0 tester agenters evne til at løse komplekse kommandolinje-opgaver, alt fra fejlfinding i scripts til opsætning af udviklingsmiljøer, hvor en enkelt fejlantagelse tidligt i forløbet typisk vælter hele resten af opgaven. Det gør benchmarket til en god test af, om selvrevision faktisk retter de rigtige fejl frem for at overtilpasse til enkeltstående tilfælde.

Forskerne rapporterer forbedringer på op til 60 procent i succesrate sammenlignet med agenter, der kører med et statisk regelsæt gennem hele opgaven. Vigtigere end selve tallet er mønsteret bag det: forbedringen kommer typisk i de første par revisionsrunder, hvor agenten retter grove fejlantagelser, og flader derefter ud til et stabilt niveau. Det tyder på, at mekanismen finder og lukker konkrete huller i regelsættet snarere end at generere støj.

Vi har set feltet bevæge sig væk fra at behandle agent-regler som noget, en udvikler skriver én gang og sjældent rører igen. I praksis er en agents driftsregler ofte et lappeværk af begrænsninger, tilføjet efterhånden som fejl er opdaget i produktion, uden systematisk evaluering af, om de gamle regler stadig giver mening.

Self-Harness vender den logik om. I stedet for at et menneske observerer en fejl og manuelt opdaterer en regel uger senere, sker revisionen løbende og empirisk, baseret på faktiske resultater fra den konkrete opgave agenten løser lige nu. Det er ikke det samme som at lade en agent gøre, hvad den vil. Rammerne for, hvad agenten må ændre, sættes stadig af mennesker på forhånd, men selve indholdet i reglerne bliver dynamisk snarere end fastfrosset.

Som principal konsulent hos AI Enterprise driver vi større AI-projekter for danske virksomheder fra problemafklaring til drift, og et af de mest almindelige problemer, vi støder på, er præcis dette: driftsregler for AI-agenter, der aldrig bliver opdateret, fordi ingen har tid eller overblik til det, når produktionen først kører.

Self-Harness-tilgangen peger på en konkret vej ud af det problem for virksomheder, der kører agenter på gentagne, afgrænsede opgaver, for eksempel kundeservice-agenter, der besvarer den samme type henvendelser hver dag, eller interne automatiseringsagenter, der udfører faste arbejdsgange. Her kan en styret form for selvrevision reducere behovet for manuel vedligeholdelse markant, fordi agenten selv identificerer og retter de svageste punkter i sit eget regelsæt over tid.

Det kræver dog, at man bygger den rigtige ramme omkring det. Uden den ramme risikerer man, at agenten optimerer sig selv i en retning, der ser fin ud på papiret, men ikke matcher det, virksomheden faktisk har brug for.

Det minder om behovet for meta-monitorering af AI-modeller i drift, når agenter kører autonomt over tid.