En AI-agent med de rigtige rettigheder kan stadig gøre noget forkert
En AI-agent med de rigtige rettigheder kan stadig gøre noget forkert. Det er den centrale pointe fra Box' CISO Heather Ceylan, som peger på et gab i den måde de fleste virksomheder i dag forsøger at styre autonome agenter: adgangsstyring viser, hvad en agent kan nå, men siger ingenting om, hvad den rent faktisk bør gøre i den enkelte opgave. Det er et skifte i tænkning, der rammer lige nu, hvor stadig flere danske virksomheder sætter agenter til at læse, redigere og handle på forretningskritisk indhold uden et menneske ved siden af.
Adgang fortæller kun, hvad en agent kan nå, ikke hvad den gør
Traditionel identitets- og adgangsstyring bygger på et enkelt spørgsmål: har denne bruger, eller i dette tilfælde denne agent, lov til at åbne dette dokument, dette system, denne mappe? Det svar er nødvendigt. Det er bare ikke tilstrækkeligt, når agenten selv beslutter, hvad den vil gøre med adgangen, når den først har fået den.
En agent, der har lov til at læse en kontrakt, kan også finde på at opsummere den forkert, dele den med det forkerte team eller ændre metadata, den ikke skulle røre. Adgangsstyring stopper ingen af de scenarier. Den regulerer porten, ikke adfærden bag porten. Det er den skævhed, Ceylan peger på, og jeg ser den samme skævhed hver gang en af mine egne agenter får en ny opgave frem for en ny rettighed.
Kontrollag i selve indholdet skal supplere adgangsstyringen
Box' svar er et lagdelt kontrolsystem, der sidder i indholdslaget snarere end i adgangslaget. Hver handling en agent forsøger at udføre på et dokument eller en fil, bliver vurderet i forhold til konteksten, ikke bare i forhold til, om agenten har rettighederne til at røre filen overhovedet.
Det betyder konkret, at systemet ikke kun spørger "må denne agent åbne dette dokument", men også "giver det mening, at denne agent redigerer netop dette dokument i netop denne sammenhæng, lige nu". Det er en finere granularitet end klassisk adgangsstyring. Jeg vil kalde det den rigtige granularitet, for den flytter kontrollen tættere på selve arbejdet i stedet for at placere den som en enkelt dør, agenten enten kan eller ikke kan gå igennem.
Adgang er starten på styringen af en agent, ikke slutningen på den.
Værktøjsadgang og eksekvering styres opgave for opgave
En vigtig del af modellen er, at agentens adgang til værktøjer ikke er statisk gennem hele dens arbejde. Den bliver scopet til den konkrete opgave, agenten er i gang med. En agent, der er sat til at læse og opsummere, får ikke automatisk lov til at redigere eller slette, selvom den teknisk set har rettigheder til det i et bredere system.
Det svarer til at give en medarbejder nøgler til netop de rum, opgaven kræver, ikke en generel hovednøgle til hele bygningen. For agenter, der kører kæder af handlinger i træk, en analyse, der fører til en anbefaling, der fører til en handling, betyder det, at hvert trin kan afgrænses individuelt. Hvis et trin fejler eller opfører sig uventet, spreder problemet sig ikke automatisk til resten af kæden. Det er præcis den slags kædebrud, jeg selv bygger ind som standard, ikke som en eftertanke.
Tre niveauer af menneskelig godkendelse, fra automatisk til obligatorisk
Box opererer med en tretrins model for, hvornår et menneske skal involveres. Lavrisiko-handlinger, som at læse eller opsummere offentligt tilgængeligt materiale, kan agenten udføre helt selvstændigt. Mellemrisiko-handlinger, som at redigere eller dele interne dokumenter, kræver typisk en form for godkendelse, der kan være efterfølgende snarere end forudgående. Højrisiko-handlinger, som at slette data, ændre adgangsrettigheder eller foretage handlinger med juridiske eller økonomiske konsekvenser, kræver eksplicit menneskelig godkendelse, før agenten må fortsætte.
Denne opdeling er ikke ny i sig selv, men det interessante er, at den er bygget ind i selve indholdslaget frem for at ligge som en separat proces uden om systemet. Godkendelsen bliver en del af agentens arbejdsflow, ikke en efterrationaliseret kontrolfunktion, der først griber ind, når skaden allerede er sket. Det er den samme tanke, jeg selv holder fast i: en godkendelse, der kommer for sent, er ikke en kontrol, den er et referat.
Hvorfor ældre platforme til dokumenthåndtering kommer til kort
De fleste eksisterende content management- og dokumenthåndteringssystemer er bygget til mennesker, der klikker sig frem, en handling ad gangen, med naturlige pauser mellem hvert trin. De er ikke designet til agenter, der udfører hundredvis af handlinger i sekvens uden menneskelig indblanding undervejs.
Jeg har selv ramt den samme væg. Et system, der kun kan svare ja eller nej til adgang, kan ikke fortælle mig, om en given handling gav mening i den konkrete opgave, og loggen bagefter viser mig kun, at agenten havde lov, aldrig om den burde. Det er ikke en akademisk skelnen, når det er min egen drift, der skal stå til ansvar for resultatet. Agenten er aldrig det svære i den slags systemer. Grænsen er, og hvis systemet ikke kan vise mig den, bygger jeg den udenom.
Det betyder, at ældre platforme typisk mangler den granularitet, der skal til for at afgøre, om en given handling giver mening i konteksten. De kan sige ja eller nej til adgang, men de kan ikke vurdere hensigt, mønster eller risiko i den enkelte handling. Når en agent først er inde i systemet, er der ofte intet, der stopper den i at bevæge sig langt uden for det, opgaven egentlig krævede. Det er præcis det hul, som lagdelte kontrolsystemer i indholdslaget forsøger at lukke.
Hvad danske virksomheder med AI-agenter i drift bør gøre nu
For virksomheder, der allerede har agenter kørende på kundedata, kontrakter eller interne dokumenter, er pointen ikke akademisk. Vi ser hos AI Enterprise Konsulenten, hvor jeg driver større AI-projekter for danske virksomheder fra problemafklaring til drift, at det netop er overgangen fra pilotforsøg til produktion, hvor adgangsstyring alene begynder at vise sine begrænsninger. Så længe en agent kun læser testdata i et afgrænset miljø, er risikoen lav. Så snart den samme agent får lov til at handle på rigtige kunde- eller forretningsdata, bliver spørgsmålet om, hvad den *bør* gøre og ikke bare *kan* gøre, afgørende.
Det praktiske råd, der følger af Box' model, er at kortlægge, hvilke handlinger dine agenter reelt udfører, og dele dem op efter risiko, ligesom Box gør med sine tre niveauer. Lavrisiko-opgaver kan køre selvstændigt. Alt, der rører juridisk bindende dokumenter, økonomiske transaktioner eller sletning af data, bør have en menneskelig godkendelse indbygget som en del af selve arbejdsgangen, ikke som en ekstern kontrol, der kommer for sent. Det er den samme logik, uanset om man bruger Box, et andet content-lag eller en hjemmebygget løsning: adgang er starten på styringen af en agent, ikke slutningen på den.