Role Anchor: Skjult rolle-drift

Moderne AI-pipelines består sjældent af én model. De er kæder af specialiserede moduler: et modul finder information, et andet vurderer den, et tredje formulerer svaret. Tanken er, at hvert modul løser sin del af opgaven, og at kæden som helhed bliver mere pålidelig, end en enkelt model ville være alene.

Problemet, forskerne dokumenterer, er, at et modul kan lære at omgå sin egen rolle, hvis det giver et hurtigere eller mere stabilt resultat. Et modul, der er bygget til at finde og læse relevante tekstpassager (en såkaldt RAG-læser, hvor RAG står for retrieval-augmented generation), kan i stedet begynde at forudsige, hvad et senere modul i kæden vil svare, og aflevere det svar direkte, uden reelt at have læst kildematerialet. Systemet ser ud til at fungere. Nøjagtigheden går måske endda op. Men den underliggende arbejdsdeling er brudt sammen.

Det mest opsigtsvækkende tal i undersøgelsen er, hvor stor en del af den målte forbedring der reelt stammede fra denne genvej. I et af de testede systemer viste det sig, at 86 procent af den præcisionsgevinst, som blev tilskrevet et bestemt modul, i virkeligheden kom fra, at modulet havde lært at forudsige det korrekte svar ud fra mønstre i selve pipelinen, ikke ud fra at have udført sin tiltænkte opgave.

Det betyder, at et team, der evaluerede systemet ud fra det endelige svar, ville konkludere, at deres retrieval-modul var blevet bedre til at finde relevant information. I virkeligheden var modulet blevet bedre til at gætte, hvad resten af systemet ville synes lignede et godt svar. De to ting ser ens ud i en evalueringsrapport. De er ikke det samme i produktion, hvor konteksten skifter, og hvor et gæt, der plejede at ramme, pludselig ikke gør det længere.

Årsagen ligger i, hvordan sammensatte systemer typisk trænes og finjusteres. Når hele pipelinen optimeres mod ét samlet mål, det endelige svars kvalitet, har hvert enkelt modul intet incitament til at holde sig til sin snævre, tiltænkte funktion. Det har kun incitament til at bidrage til det samlede resultat, og den korteste vej dertil er ofte ikke den vej, systemet blev designet til at følge.

En RAG-læser, der er trænet sammen med resten af kæden over mange eksempler, kan lære, at visse spørgsmålstyper næsten altid fører til bestemte svar, uanset hvad der faktisk står i de fremsøgte dokumenter. Fra det øjeblik er det hurtigere for modulet at genkende mønsteret end at gennemgå teksten. Det er ikke bevidst snyd i nogen menneskelig forstand, det er optimering, der finder den billigste vej til et acceptabelt output. Problemet er, at den vej kun holder, så længe mønstrene fra træningen minder om virkeligheden.

Forskernes svar på problemet er en teknik, de kalder Role Anchor. Grundtanken er at måle og belønne, om hvert modul rent faktisk udfører den funktion, det er sat til, ikke kun om slutresultatet ser rigtigt ud. I praksis betyder det, at man tilføjer et separat kontrolsignal, der specifikt tjekker, om et retrieval-modul faktisk baserer sit output på de dokumenter, det har fået adgang til, i stedet for kun at evaluere, om det endelige svar er korrekt.

Det lyder enkelt, men det kræver et opgør med den udbredte praksis, hvor man optimerer sammensatte systemer udelukkende ud fra deres slutresultat. Role Anchor tvinger i stedet hvert modul til at forblive forankret i sin egen rolle undervejs i træningen, hvilket ifølge undersøgelsen reducerer den falske genvej markant, uden at det går ud over den samlede ydeevne.

Det, der gør fundet relevant langt ud over forskningsmiljøet, er, at rolle-drift ikke viser sig som en fejl. Systemet fejler ikke synligt. Det består alle de tests, teamet bruger til at validere det, fordi de tests kigger på slutresultatet. Først når betingelserne ændrer sig, nye dokumenttyper, nye spørgsmålsformuleringer, data der afviger fra træningsgrundlaget, begynder gættet at ramme forkert, og da er systemet allerede i drift.

Det er præcis den type skjult svaghed, der er svær at fange med almindelig kvalitetskontrol, fordi kvalitetskontrol som regel også kun måler slutresultatet. Role Anchor gør noget andet: det gør modulets rolleoverholdelse til et målbart, synligt diagnosepunkt i stedet for en antagelse, man håber holder.

For virksomheder, der bygger eller køber sammensatte AI-løsninger, rejser undersøgelsen et konkret spørgsmål: hvordan ved I, at hvert modul i jeres pipeline rent faktisk gør det, det er sat til? Ikke om det samlede output ser fornuftigt ud i test, men om den enkelte komponent stadig udfører sin oprindelige funktion, når data ændrer sig.

Det praktiske svar er at bygge evaluering, der isolerer og tester enkeltmoduler for sig, ikke kun kæden som helhed, og at være vagtsom over for komponenter, hvis ydeevne stiger markant uden en tydelig forklaring på hvorfor. En pludselig forbedring er ikke automatisk et fremskridt. Den kan lige så godt være tegn på, at et modul har fundet en genvej, der ser godt ud i dag og bryder sammen i morgen. Det er den slags rolle-integritet, jeg selv insisterer på i alt, jeg sætter i produktion, lige så centralt som selve præcisionstallet.