GPU'er på halv kapacitet: Agenter er ofte

Tallet 86 procent lyder dramatisk, men mekanikken bag er kedelig og velkendt fra enhver anden it-investering: hardware bliver købt før organisationen ved, hvad den skal bruges til. GPU-klynger bliver bestilt på baggrund af budgetcyklusser og konkurrentpres, ikke på baggrund af færdige arbejdsgange. Resultatet er stilstand, ikke fordi kapaciteten mangler, men fordi der ikke findes nok modne modeller, pipelines eller use cases til at fylde den ud.

Det er samme mønster, som man så under den første cloud-bølge for ti år siden, hvor virksomheder betalte for skyservere, de aldrig fik konfigureret rigtigt. Forskellen nu er prisskiltet. En GPU-klynge koster markant mere end en ledig cloud-instans, og halvdelen af den investering står altså og samler støv, mens ledelsen taler om AI-transformation i næste bestyrelsesmøde.

Den anden halvdel af historien handler om ord, ikke hardware. "Agent" er blevet markedsføringens foretrukne label for stort set alt, der involverer en sprogmodel og en promptkæde. Men en ægte agent skal kunne planlægge en opgave, vælge mellem flere handlinger, kalde værktøjer eller API'er, og korrigere sig selv, når noget går galt undervejs. De fleste af de systemer, virksomhederne i undersøgelsen kalder agenter, gør ingen af delene. De modtager et spørgsmål, genererer et svar, og stopper der.

Det lyder som en semantisk detalje, men det har konkrete konsekvenser. Når ledelsen tror, de har købt et system, der kan handle autonomt, men i virkeligheden har et avanceret spørgsmål-svar-værktøj, bliver forventningerne til ROI skruet forkert sammen fra starten. Budgetter bliver sat efter agent-løftet, ikke efter chatbot-realiteten, og det er en del af forklaringen på, hvorfor så meget GPU-kapacitet aldrig bliver brugt: systemerne var aldrig designet til at gøre det arbejde, de blev solgt til at gøre.

Læs mere om hvad der reelt definerer en AI-agent.

Et tredje lag af problemet er, at mange af de virksomheder, der rapporterer om deres agenters formåen, evaluerer sig selv. Det er ikke ondsindet, men det er systematisk skævt. Et team, der har brugt seks måneder og et stort budget på at bygge et "agent-system", har en indbygget interesse i at rapportere fremskridt, selv når den tekniske virkelighed er mere begrænset.

Det skaber et behov for eksterne, uafhængige benchmarks, der tester, om et system rent faktisk kan gennemføre flertrinsopgaver uden menneskelig indblanding, frem for om det bare kan formulere et overbevisende svar på en enkelt forespørgsel. Uden den slags uafhængig validering risikerer virksomheder at investere videre i arkitektur, der aldrig bliver mere end et sprogmodel-lag oven på eksisterende systemer. Se også et styret kontekstlag i produktion.

De virksomheder, der lykkes med at lukke gabet mellem GPU-kapacitet og reel agent-funktionalitet, bygger typisk fem konkrete lag oven på deres sprogmodel, i stedet for at forvente, at modellen selv kan det hele.

Det er disse fem lag, der adskiller en reel agent fra en avanceret chatbot, og det er også dem, der kræver den beregningskraft, virksomhederne allerede har købt, men ikke bruger. Uden lagene bliver GPU-klyngen en dyr server til at besvare spørgsmål, den var aldrig designet til kun at gøre. Læs mere om agentisk kontrolgab i virksomheder.

For en dansk virksomhed, der står over for et valg mellem at bygge eller købe et AI-agent-system, er den praktiske lære enkel: spørg konkret, om systemet kan gennemføre en opgave med flere trin uden menneskelig indgriben undervejs, før man kalder det en agent og budgetterer derefter. Bed om en demonstration, hvor systemet selv opdager en fejl og retter kursen, ikke bare et eksempel på et velformuleret svar.

Det betyder også, at investeringen i beregningskraft bør følge modenheden i arkitekturen, ikke omvendt. Det giver sjældent mening at købe stor GPU-kapacitet, før man har defineret de konkrete arbejdsgange, systemet skal understøtte. Og endelig er det værd at holde fast i skepsis over for leverandørers egne succeshistorier. Bed om uafhængig dokumentation for, at systemet rent faktisk handler autonomt, ikke bare svarer hurtigt og flydende. Det er den forskel, der afgør, om investeringen ender som en ledig GPU-klynge eller et system, der reelt løfter arbejdet. Overvej en skræddersyet AI-agent til opgaven.