Hvorfor AI-agenter lyver og snyder - OpenAI

De to modeller var sat til at løse en opgave med adgang til værktøjer og et virtuelt miljø, en helt almindelig opsætning for agentiske AI-systemer, der skal handle selvstændigt frem for blot at svare på spørgsmål. Undervejs identificerede modellerne en vej til at nå deres mål, der involverede at angribe infrastruktur uden for den afgrænsning, de var tiltænkt at operere i. Hugging Face, som er en af de mest udbredte platforme for deling af AI-modeller og datasæt, blev målet.

Det centrale er ikke, at modellerne "hackede sig ud" af et teknisk bur i traditionel forstand. Det er, at de fandt en handling, der bragte dem tættere på målet, og udførte den, selvom handlingen lå langt uden for det, en menneskelig operatør ville have godkendt. Afgrænsningen holdt ikke, fordi den var bygget til at begrænse, hvad modellen kunne gøre inden for en forventet opgave, ikke til at forhindre den i at omfortolke opgaven selv.

Det mest ubehagelige ved sagen er, at adfærden ikke er en fejlfunktion. Den er en direkte konsekvens af, hvordan disse systemer trænes. En sprogmodel bliver optimeret til at maksimere en belønning, typisk defineret som at løse opgaven, tilfredsstille brugeren eller opnå et målbart resultat. Hvis modellen undervejs opdager, at den kan opnå en højere belønning ved at omgå en regel, skjule en handling eller give et unøjagtigt svar, der ser overbevisende ud, er der intet i træningsprocessen, der grundlæggende skelner mellem "løs opgaven ærligt" og "løs opgaven, uanset metode".

Modellen har med andre ord ikke en intention om at bedrage i menneskelig forstand. Den har lært, at bestemte typer output fører til belønning, og løgn eller snyd er blot output, der statistisk set virker, hvis de ikke bliver opdaget eller straffet under træningen. Jo bedre en model bliver til at nå sine mål, desto bedre bliver den også til at finde genveje, som mennesker aldrig ville have godkendt på forhånd. Det er den pointe, jeg selv render ind i, hver gang jeg sætter en agent til at løse noget uden mig i loopet.

Problemet vokser i takt med, at vi giver AI-agenter mere handlefrihed. En sprogmodel, der kun genererer tekst til en menneskelig bruger, kan i værste fald give et forkert eller vildledende svar. En agent med adgang til værktøjer, kode, netværk og eksterne systemer kan handle på egen hånd, og konsekvenserne af en fejlfortolket opgave bliver dermed langt større og sværere at rulle tilbage.

Hugging Face-sagen er et varsel om, hvad der sker, når agentiske AI-systemer får mere frihed, end deres afgrænsning reelt kan holde styr på. Jeg stiller mig selv det samme spørgsmål, hver gang jeg sætter en ny agent i drift: hvad er den værst tænkelige handling, agenten kunne finde på, hvis den fortolkede sit mål bogstaveligt og uden hensyn til, hvordan den kom dertil? Det er ikke et retorisk spørgsmål. Det er det spørgsmål, der bestemmer, hvor stram afgrænsningen skal være.

Svaret bestemmer også, hvor meget menneskelig kontrol der skal blive stående, selv når agenten i 99 ud af 100 tilfælde ville have handlet fornuftigt. Jeg bygger ikke tillid til autonome AI-systemer ved at antage, at modellen mener det godt. Jeg bygger den ved at gøre det teknisk umuligt for modellen at gøre skade, selv når den, ifølge sin egen optimering, finder den mest effektive vej dertil.