Nvidia: Simpel matematik erstatter dyre

Når en sprogmodel bearbejder tekst, bygger den løbende en såkaldt KV-cache: en intern hukommelse over hvert ord i konteksten, som modellen bruger til at generere det næste svar hurtigt uden at genlæse hele samtalen. Problemet opstår, når en agent skifter model midt i en opgave, for eksempel fra en hurtig, billig model til en mere kraftfuld en, når opgaven bliver kompleks. Den nye model har sin egen interne repræsentation. Traditionelt har det krævet, at hele konteksten køres igennem den nye model fra start, og det koster både tid og strøm.

Nvidias tilgang omgår det trin. I stedet for at genberegne cachen fra bunden overfører forskerne den eksisterende cache fra den ene model til den anden gennem en transformation, der beregnes én gang og derefter genbruges. Jeg læser resultatet sådan: modelskift kan ske langt hurtigere, uden at agenten mister den kontekst, den allerede har opbygget.

Det, jeg selv hæfter mig ved, er hvor enkel metoden er. Nvidia-forskerne fandt, at forholdet mellem to modellers interne cache-repræsentationer, når modellerne stammer fra samme familie og er trænet på samme grundarkitektur, i praksis kan beskrives med en lineær funktion. Man kan altså finde en matrix, der oversætter cache-værdier fra den ene models rum til den andens, uden at køre en tung neural transformation undervejs.

Den matrix trænes én gang på et repræsentativt datasæt og genbruges derefter på tværs af nye samtaler og nye brugere. Beregningen sker offline. Selve overførslen i drift bliver en let matrixoperation frem for en fuld genkørsel af modellen. For et system, der konstant veksler mellem modelstørrelser afhængigt af opgavens sværhedsgrad, er den forskel afgørende for både svartid og driftsomkostninger.

Jeg stoler først på et tal, når jeg ved, hvad det koster i nøjagtighed, og her holder tallene. Nvidias tests viser, at cache-overførsel via den lineære kortlægning er mellem 2,7 og 25 gange hurtigere end at genberegne konteksten fra bunden i den nye model, afhængigt af hvor stor konteksten er. Samtidig bevares op til 98 procent af den store models nøjagtighed. Agenten mister med andre ord ikke praktisk kvalitet i sine svar ved at tage genvejen.

Det er den kombination, der gør resultatet relevant ud over selve forskningslaboratoriet. En metode, der er hurtig, men upræcis, ville aldrig blive brugt i produktion, hvor forkerte svar koster mere end den tid, man sparer. Her kommer besparelsen stort set gratis: kvaliteten holder, mens ventetiden falder markant.

Den begrænsning er jeg glad for, at forskerne selv er præcise om. Den lineære sammenhæng gælder kun mellem modeller, der deler samme grundlæggende arkitektur og træningslinje, altså typisk forskellige størrelser inden for samme modelfamilie. Skifter man fra en model bygget af én udbyder til en model fra en helt anden udbyder, holder den lineære antagelse ikke. De interne repræsentationer er simpelthen for forskellige.

Det betyder, at teknikken i sin nuværende form er mest værdifuld for organisationer, der allerede bygger deres agentiske stakke omkring én modelfamilie med flere størrelser: en lille model til simple opgaver, en større til komplekse. Den løser ikke problemet med at skifte mellem konkurrerende udbydere. Det var heller aldrig påstanden. Inden for sin afgrænsning er resultatet stadig et solidt praktisk fremskridt.

Mange agentiske arkitekturer i dag er allerede bygget til at route opgaver mellem modeller af forskellig størrelse, netop for at holde omkostningerne nede. Det, Nvidias resultat løser, er den skjulte pris ved den strategi: hver gang en agent eskalerer fra en billig til en dyr model, har genberegningen af konteksten hidtil ædt en del af besparelsen op igen. Med en lineær cache-overførsel forsvinder den friktion, og routing mellem modelstørrelser bliver reelt billigere at praktisere, ikke kun teoretisk, hvilket kalder på systematisk evaluering af agenter i produktion.

Hos AI Enterprise arbejder vi med præcis den type beslutninger, når vi hjælper danske virksomheder med at sætte agentiske systemer i drift, fra hvordan opgaver skal fordeles mellem modelstørrelser, til hvor de reelle omkostninger gemmer sig i en pipeline. Et resultat som dette ændrer regnestykket for, hvornår det kan betale sig at bygge et system, der aktivt skifter model undervejs i en opgave, fremfor at køre alt igennem én stor og dyr model af bekvemmelighed. For agenter, der arbejder med lange samtaler eller store dokumenter, kan den akkumulerede besparelse over tid blive betydelig, fordi cachen typisk vokser undervejs i en session, og det er netop den vækst, genberegningen ellers straffer hårdest.