Perplexity og Nvidia lancerer lokal AI-agent

Jeg har brugt det seneste år på ikke andet end at sætte agenter i drift, og den regning, der driller mest, er ikke licensen. Det er token-forbruget, der løber løbet, mens en agent tænker sig frem til et svar. Portable Computer angriber præcis det problem. Perplexity bygger softwaren, Nvidia leverer den optimerede model og hardwarestøtten, og resultatet er en agent, der kører på brugerens egen Nvidia DGX Spark eller en RTX-udstyret Linux-maskine i stedet for i skyen.

De fleste AI-agenter, jeg ser hos danske virksomheder i dag, arbejder efter samme mønster. Brugeren stiller en opgave, agenten sender en række forespørgsler til en model i skyen, og hvert svar koster tokens. Jo mere agenten tænker, planlægger og forsøger igen, desto højere bliver regningen. Og jo mere data forlader virksomhedens egne systemer undervejs.

Portable Computer vender det om. Agenten kører sin fulde løkke af planlægning, værktøjskald og selvkorrektion direkte på den maskine, den er installeret på. Modellen, filerne og selve arbejdet bliver på enheden. Kun hvis en opgave rent faktisk kræver en sky-model, spørger systemet først om lov, før noget forlader maskinen. Det er en arkitektonisk beslutning, ikke bare en prismodel, og den ændrer, hvad agenten kan bruges til.

Portable Computer består af to dele, der er bygget til at høre sammen. Perplexity leverer selve agent-harnesset, altså den software, der styrer, hvordan agenten planlægger opgaver, kalder værktøjer og retter fejl undervejs. Nvidia leverer modellen og den optimerede hardwarestøtte til DGX Spark og RTX-udstyrede Linux-maskiner, så agenten kan køre effektivt på lokal hardware uden den ydelse, man normalt ofrer, når man forlader skyen. Pakken understøtter blandt andet Qwen- og PPLX-modeller, og bundler lokale modeller, agent-harness, inferens, værktøjer og en sikkerhedssandbox i én samlet installation.

Det gør pakken forskellig fra de fleste lokale AI-forsøg, hvor man tager en generisk model og prøver at presse den ned i en mindre boks. Her er model og harness designet sammen fra start. Det betyder, at agenten kan udføre flertrinsopgaver, altså opgaver, der kræver flere på hinanden følgende beslutninger, uden at skulle ringe hjem til en sky-tjeneste for hvert skridt.

En agent er ikke bare en model, der svarer på spørgsmål. Den er en løkke. Den planlægger, forsøger, evaluerer resultatet og justerer, indtil opgaven er løst. Når den løkke skal køre lokalt, er det ikke nok at gøre modellen mindre. Harnesset skal også vide, hvordan det bruger den begrænsede lokale kraft mest effektivt, for eksempel ved at undgå unødvendige gentagelser eller ved at prioritere de værktøjskald, der faktisk flytter opgaven fremad.

Det er derfor kombinationen af Perplexitys harness og Nvidias model, der er den reelle nyhed her, ikke blot at endnu en aktør har lavet en lokal model. Perplexity har selv udgivet forskning om, hvorfor harness og model bør designes sammen for små lokale modeller, og Portable Computer er det praktiske svar på den forskning. Når begge dele er bygget sammen, kan agenten holde en høj kvalitet i sine beslutninger, selv når den ikke har adgang til den enorme regnekraft, en sky-model normalt trækker på.

For mange danske virksomheder er der to konkrete bremseklodser i at tage AI-agenter i brug for alvor: GDPR og omkostninger. Når en agent sender kundedata, kontrakter eller interne dokumenter til en sky-tjeneste for at løse en opgave, opstår der straks spørgsmål om, hvor data lander, hvem der har adgang, og om det overhovedet er lovligt at sende følsomme oplysninger uden for virksomhedens egne systemer. En lokal agent på egen DGX Spark eller RTX-maskine løser det problem ved roden, fordi dataene som udgangspunkt bliver på maskinen, og fordi brugeren selv skal give lov, hvis noget alligevel skal sendes til en sky-model.

Det samme gælder omkostningerne. En agent, der arbejder med lange, komplekse opgaver, kan hurtigt generere tusindvis af token-kald, før den er færdig. For en mindre eller mellemstor virksomhed kan det gøre AI-drift uforudsigeligt dyrt. Jeg ser det samme mønster igen og igen i mit eget arbejde: det er ikke prisen i sig selv, der bremser en beslutning om at rulle agenter ud i produktion, det er at prisen ikke kan forudsiges, uanset hvor lovende et pilotprojekt har set ud.