Strands Evals og AgentCore: test agenters

Sprogmodeller er trænet til at producere tekst, der virker sammenhængende og autoritativ. Det gælder også, når modellen har taget en forkert beslutning undervejs. En agent, der skulle bruge en specifik skill til prisberegning, men i stedet gætter sig frem med generel viden, vil ofte formulere svaret lige så selvsikkert som en agent, der gjorde det rigtige. Det betyder, at menneskelig stikprøvekontrol af svarkvalitet er et dårligt mål for, om agentens interne logik fungerer.

Jeg har set det samme mønster i mine egne agent-opsætninger hos Agent Enterprise: jo mere flydende modellen skriver, jo sværere er det at opdage i en manuel stikprøve, at den sprang den rigtige skill over. Jeg har ikke et rent tal på, hvor ofte det sker på tværs af opsætninger, men mønstret går igen, hver gang jeg har kigget grundigt efter det. Det er ikke et argument mod agenter. Det er et argument for, at evalueringen skal pege på beslutningen, ikke kun på teksten.

En skill er typisk en afgrænset funktion eller et modul, agenten kan kalde for at løse en specifik delopgave, for eksempel at slå en pris op, validere et CPR-nummer eller hente data fra et internt system. Skills adskiller sig fra fri tekstgenerering ved, at de har faste regler: bestemte input-formater, bestemte trin, og ofte en begrænsning på, hvad agenten må gøre uden om skillen.

Når jeg bygger den slags skills, er det reglerne, ikke selve kaldet, der går i stykker først. Agenten rammer skillen, men springer et felt eller et trin over, og det er lige dér, et svar kan se helt fint ud og stadig være bygget på en halv proces. Problemet opstår, når agenten enten vælger den forkerte skill til opgaven, eller vælger den rigtige skill men ikke følger dens interne regler korrekt. Begge fejl kan give et svar, der ser fint ud på overfladen, men som i virkeligheden bygger på en forkert proces. I en kundevendt kontekst betyder det reelt forkerte priser, forkerte vurderinger eller data, der aldrig burde være delt.

Strands Evals er designet til at spore, hvilken skill agenten faktisk aktiverede for en given forespørgsel, og sammenligne det med den skill, der burde være valgt. Det giver et konkret, målbart svar på et spørgsmål, der ellers er svært at teste: ramte agenten den rigtige beslutning, før den overhovedet begyndte at generere tekst?

AgentCore Evaluations supplerer med et lag, der ser på selve udførelsen efter valget er truffet. Her handler det om at verificere, at skillens egne regler blev fulgt, ikke bare at den rette skill blev kaldt. Tilsammen giver de to lag en evaluering, der dækker både beslutningspunktet og eksekveringen, i stedet for kun at vurdere det færdige svar isoleret, via en framework-agnostisk evalueringstjeneste.

For virksomheder, der allerede har sat agenter i drift med flere skills, er det her forskellen mellem at opdage et problem i test og at opdage det, når en kunde har fået et forkert svar.

Et skill-valg kan være korrekt, og agenten kan stadig fejle i udførelsen. Hvis en skill kræver, at bestemte felter valideres i en bestemt rækkefølge, eller at agenten stiller et opfølgende spørgsmål, før den handler, er det ikke nok at måle, om den rigtige skill blev aktiveret. Man skal også måle, om agenten rent faktisk overholdt de trin, skillen foreskriver.

Det er her mange evalueringssetups historisk har haft et blindt punkt, og det er samme blinde punkt, jeg selv har skullet bygge mig ud af: en agent, der springer et valideringstrin over, men stadig lander på et plausibelt svar, vil ofte bestå en simpel kvalitetstest. Instruction-following-tests i Strands Evals er bygget til at fange præcis den type afvigelse, ved at sammenholde agentens faktiske handlingssekvens med skillens definerede regelsæt, trin for trin.

Den traditionelle måde at evaluere sprogmodeller på bygger ofte på at vurdere outputtets kvalitet: er svaret relevant, grammatisk korrekt, og virker det hjælpsomt? Det er et fornuftigt mål for en chatbot, der svarer på generelle spørgsmål. Det er et dårligt mål for en agent, der skal følge en streng proces med skills, fordi outputtet kan være sprogligt perfekt, selvom processen bag var forkert.

Forskellen minder om at bedømme et regnskab ud fra, om det ser pænt layoutet ud, i stedet for at tjekke, om tallene stemmer. Agenten kan præsentere en konklusion overbevisende, men hvis det underliggende regnestykke (altså skill-kaldet og dets regler) var forkert, er konklusionen det også. Strands Evals og AgentCore Evaluations flytter fokus fra layoutet til regnestykket.

For danske virksomheder, der har investeret i agenter med flere specialiserede skills, for eksempel til kundeservice, tilbudsberegning eller intern dataopslag, er pointen konkret: en agent, der ser ud til at fungere i de første uger, kan stadig gemme på systematiske fejl i skill-valget, som først viser sig, når volumen eller kompleksitet stiger.

Jeg tester selv skill-selektion og instruction-following som en fast del af enhver agent, jeg sætter i produktion med mere end én skill, og jeg kører testen igen, hver gang en skill tilføjes eller ændres. Det er ikke en engangsopgave hos mig. Det er løbende kvalitetssikring af den beslutningsproces, der ligger bag hvert eneste svar agenten giver, og det er den disciplin, der afgør, om en agent kan skaleres med tillid, eller bare ser overbevisende ud, indtil den fejler i et vigtigt øjeblik.