Hypernetworks: enterprise AI-agenters tredje

Fine-tuning virker glimrende i demoen. Man tager en basismodel, træner den yderligere på et snævert datasæt, og modellen bliver skarpere på netop den opgave. Problemet opstår, når virksomheden har brug for modellen til opgave nummer to. Enten træner man en helt ny model (dyrt, langsomt, og hver ny version skal valideres fra bunden), eller man prøver at træne den samme model på flere opgaver på én gang, hvilket typisk fører til catastrophic forgetting: modellen bliver bedre til den nye opgave og målbart dårligere til den gamle. I en revisionsafdeling, hvor modellen skal håndtere skatteret, regnskabsstandarder og kontraktgennemgang i samme uge, er det ikke en teoretisk risiko. Det er en driftsomkostning, der viser sig som fejlrapporter og manuel efterkontrol.

RAG (retrieval-augmented generation) blev bygget som svar på præcis det problem: lad modellen forblive generel, og hent den relevante kontekst ind ved forespørgselstidspunkt. Det virker godt til statiske vidensbaser. Men i regulerede, tidskritiske opgaver rådner RAG-laget hurtigt. Dokumentbasen vokser, embeddings driver, og retrieval begynder at hente kontekst, der er relevant i overfladen, men forkert i substansen. En compliance-agent, der forveksler en gammel lovtekst med den gældende, er ikke en edge case. Det er det forventelige udfald af et system, der er bygget til at finde ligheder, ikke til at forstå regler. Løsningen for mange virksomheder starter med et styret kontekstlag i produktion.

Hypernetworks løser problemet fra en helt anden vinkel. I stedet for at træne én model til at kunne det hele, eller at hente kontekst ind i en generel model, bruger man et lille netværk (hypernetworket) til at generere vægtene til en opgavespecifik model, i det øjeblik opgaven kommer ind. Basismodellen forbliver urørt. Hypernetworket producerer i stedet en let tilpasning, typisk i form af LoRA-vægte (low-rank adaptation), skræddersyet til lige netop denne opgave, ud fra en kort beskrivelse af, hvad opgaven kræver, med afsæt i hvad AI-agenter reelt er.

Det betyder, at en agent, der om formiddagen laver momsafstemning, og om eftermiddagen skal vurdere en leverandørkontrakt, ikke behøver at være den samme model med det samme sæt vægte i begge tilfælde. Den kan få genereret en ny, snæver tilpasning til hver opgave, uden at nogen af tilpasningerne konkurrerer om plads i modellens hukommelse. Der er intet at glemme, fordi der ikke er én model, der skal huske alt. Og der er intet dokumentlager at holde friskt, fordi opgavens krav kodes direkte ind i modellens vægte, ikke hentes fra et separat lag ved siden af.

Det japanske forskningsselskab Sakana AI har gjort princippet konkret med Text-to-LoRA, et system der tager en tekstbeskrivelse af en opgave og genererer de tilhørende LoRA-vægte direkte, uden at nogen først skal indsamle et træningsdatasæt og køre en fine-tuning-pipeline. Man beskriver opgaven i almindelig tekst, og systemet producerer en tilpasning, der er trænet til at løse den, på sekunder snarere end timer eller dage, hvilket bygger videre på hvordan machine learning-modeller trænes.

Det er springet, der gør hypernetworks interessante for virksomheder frem for kun for forskere. Klassisk fine-tuning kræver et team, et datasæt og en valideringsproces for hver ny opgave. Text-to-LoRA gør opgavetilpasning til noget, der kan ske automatisk, som en del af selve agentens arbejdsflow. En agent, der møder en ny opgavetype den ikke har set før, kan i princippet få genereret sin egen tilpasning uden at et menneske skal starte en træningsjob først.

Det nystartede Nace.AI bygger videre på samme grundidé med det, de kalder en MetaModel: et system, der ved inferens genererer den model, en given opgave kræver, i stedet for at have én fast model til alt. Deres første kunder er ikke marketingafdelinger eller chatbot-projekter. Det er revisionshuse, compliance-teams og risikovurderingsfunktioner, altså netop de miljøer, hvor fine-tuning glemmer for meget og RAG blander for meget sammen.

Det er ikke tilfældigt. Revision og compliance er kendetegnet ved mange snævre, veldefinerede delopgaver (kontrolspørgsmål, regelfortolkning, dokumentklassifikation), der hver især kræver præcision, men som samlet set er for mange og for forskellige til, at én finjusteret model kan holde dem alle skarpt. Det er præcis den type opgavelandskab, hypernetworks er designet til: mange smalle opgaver, der hver kan få deres egen model, genereret på stedet, uden at nogen af dem konkurrerer om den samme model-hukommelse.

For en dansk virksomhed, der overvejer AI-agenter til revision, skat, juridisk gennemgang eller anden reguleret sagsbehandling, er det centrale spørgsmål ikke længere "fine-tuning eller RAG". Det er, om opgaverne er snævre og mange nok til, at en hypernetwork-baseret tilgang giver mening, eller om man reelt har én stabil, bred opgave, hvor klassisk fine-tuning stadig er det enklere valg. Det spiller også sammen med kravene i EU AI Act for regulerede AI-anvendelser.

Har man en agent, der skal håndtere ti forskellige sagstyper på tværs af regelsæt, der ændrer sig, er svaret typisk ikke længere at bygge én mere finjusteret model eller et større RAG-lag. Det er at overveje en arkitektur, hvor modellen bygger sin egen tilpasning til hver opgave, i det øjeblik opgaven opstår. Det kræver ikke, at man selv bygger et hypernetwork fra bunden. Det kræver, at man stiller kravet rigtigt til den leverandør, man vælger: kan systemet holde snævre opgaver adskilt uden at glemme, og kan det gøre det uden at læne sig op ad et retrieval-lag, der rådner over tid.