EvoHarness-RL: 8B-model matcher Claude Opus

De fleste agent-harnesses i dag styrer hukommelsen udefra. Et fast script afgør, hvornår konteksten skal opsummeres, hvilke detaljer der skal beholdes, og hvornår gamle observationer skal smides væk. Det virker på korte opgaver, men det knækker, når en agent arbejder gennem hundredvis af trin i et produktionsmiljø, for reglerne kan ikke forudse, hvad der bliver relevant tredive trin længere fremme.

Forskerne har vendt den logik om med det, de kalder EvoHarness-RL. I stedet for at lade et eksternt script bestemme, hvad agenten husker, træner de modellen til selv at afgøre det, som en indbygget del af dens handlingsrum. Agenten lærer altså ikke bare at løse opgaven, den lærer også at forvalte sin egen arbejdshukommelse undervejs.

Kernen i tilgangen er et sæt på fire meta-handlinger, som forskerne kalder Belief-Progress-Experience. I stedet for at agenten kun kan handle på opgaven, kan den også opdatere sin overbevisning om opgavens tilstand, markere fremskridt eksplicit, gemme en erfaring til senere brug, eller bevidst glemme information, der ikke længere er relevant.

Det lyder simpelt, men det ændrer, hvad modellen reelt lærer under træning. En agent, der kun optimeres på slutresultatet, får aldrig feedback på, om dens interne hukommelsesstyring var god undervejs. Med BPE-mekanismen bliver selve hukommelsesstyringen en del af det, modellen bliver belønnet eller straffet for. Det tvinger modellen til at udvikle en form for metakognition om sin egen proces, i stedet for blot at reagere på det seneste input.

Det praktiske resultat er en agent, der ikke drukner i sin egen kontekst, når en opgave strækker sig over lange kæder af værktøjskald, API-svar og mellemresultater. Den ved, hvad der er vigtigt at holde fast i, og hvad der trygt kan lægges til side.

Træningen forløber i to trin. Først finetunes modellen superviseret på eksempler, der demonstrerer god brug af de fire meta-handlinger, sådan at den lærer selve mekanikken. Derefter tager forskerne over med reinforcement learning, hvor modellen optimeres direkte på opgaveresultater, mens den selv vælger, hvornår den bruger hvilken meta-handling.

Det afgørende designvalg er, at belønningsfunktionen er cost-aware. Modellen straffes ikke kun for at fejle opgaven, den betaler også en pris for unødvendigt hukommelsesforbrug og overflødige trin. Det tvinger frem en model, der lærer at være økonomisk med sin egen kontekst, fremfor blot at akkumulere så meget information som muligt "for en sikkerheds skyld". I praksis betyder det færre tokens brugt pr. opgave og en agent, der ikke mister overblikket, når opgaven bliver lang.

Det mest opsigtsvækkende resultat er ikke, at en lille model kan løse svære agent-opgaver. Det er, at den gør det på niveau med Claude Opus 4.5 på en række benchmarks for lange, flertrins agent-workflows, samtidig med at den kører på en brøkdel af parametrene.

Det flytter et helt andet regnestykke end det, man normalt diskuterer, når man taler om modelkvalitet. En 8B-model kan køres selvhostet eller på markant billigere infrastruktur end en frontier-model med hundredvis af milliarder parametre. Når selve hukommelsesstyringen er indbygget i modellen fremfor bygget som et eksternt lag ovenpå, forsvinder også noget af den kompleksitet, virksomheder ellers selv skal opbygge og vedligeholde i deres harness.

Det betyder ikke, at frontier-modeller bliver overflødige. Men det viser, at gevinsten ved en stor model ikke nødvendigvis ligger i selve sproget eller ræsonneringen, den kan i høj grad ligge i, hvor godt modellen forvalter sin egen kontekst under en lang opgave. Og den evne kan trænes ind i en langt mindre model, hvis man designer belønningsstrukturen rigtigt.

Vi arbejder med større AI-projekter for danske virksomheder, fra problemafklaring til drift, og den mest tilbagevendende flaskehals er sjældent modellens rene sprogforståelse. Det er, hvad der sker, når en agent skal holde styr på tilstand gennem tyve, tredive eller halvtreds trin i et rigtigt forretningsforløb, hvor konteksten vokser hurtigere end den kan rummes fornuftigt.

EvoHarness-RL peger på en retning, der er direkte relevant for det problem. Hvis hukommelsesstyring kan trænes ind i modellen selv fremfor at leve som et skrøbeligt eksternt lag af opsummeringsregler, bliver agent-arkitekturer både billigere at drive og mere stabile at holde kørende over tid. Det åbner for, at virksomheder, der i dag betaler frontier-priser for at få pålidelig langtidshukommelse i deres agenter, på sigt kan opnå samme stabilitet i lange forløb med markant mindre og billigere modeller, forudsat at træningen er designet til formålet.