Capital One VulnHunter: AI-sikkerhedsagent

Det betyder, at agenten kan opdage sårbarheder, der kun opstår i samspillet mellem flere komponenter, for eksempel når brugerinput passerer gennem en valideringsfunktion, der ser sikker ud isoleret, men åbner en sikkerhedshul når den kombineres med en anden funktion længere nede i koden. Den slags sammenhænge er svære at fange med mønsterbaseret scanning, fordi ingen enkelt linje kode ser forkert ud alene. Det ligner udfordringen beskrevet i AI-kodningsassistenters sikkerhedsrisici, hvor traditionel scanning ikke opdager sammenhængende fejl.

Det, der adskiller VulnHunter fra almindelige AI-scannere, er en indbygget falsifikationsmotor. Når agenten finder en potentiel sårbarhed, stopper den ikke ved fundet. I stedet skifter den rolle og forsøger aktivt at modbevise sin egen konklusion, ligesom en red team-tester ville udfordre en kollegas rapport. Den søger efter grunde til, at fundet er en falsk positiv, tjekker om input faktisk kan nå det sårbare punkt, og vurderer om eventuelle sikkerhedsforanstaltninger andre steder i koden allerede lukker hullet.

Kun de fund, der overlever denne selvkritiske proces, sendes videre som rapporterede sårbarheder. Mekanismen løser et af de største praktiske problemer med automatiseret sikkerhedsscanning, nemlig at udviklere med tiden ignorerer værktøjer, der råber ulv for tit. Jeg har set det ske: når et værktøj konsekvent leverer støj, mister det tillid, og reelle sårbarheder drukner i falske alarmer. Ved at bygge skepsis ind i selve modellen forsøger Capital One at levere færre, men mere pålidelige, advarsler.

Capital One har en historik, der gør projektet særligt relevant. Den hændelse præger stadig, hvordan banken tænker om kodesikkerhed, og VulnHunter kan ses som et produkt af den erfaring: et forsøg på at fange fejl før de når produktion, snarere end at reagere på dem bagefter.

At frigive værktøjet som open source er et strategisk valg, der rummer mere end velgørenhed. Når andre organisationer bruger og forbedrer koden, får Capital One adgang til rettelser og forbedringer, de ikke selv skal betale for at udvikle. Samtidig positionerer det banken som en aktør, der bidrager til sikkerhedsøkosystemet omkring AI-drevet udvikling, på et tidspunkt hvor finanssektoren generelt er varsom med at dele interne værktøjer.

For danske virksomheder, der allerede bruger eller overvejer AI-agenter i deres udviklingsproces, viser VulnHunter noget vigtigt: det største potentiale ligger ikke i, at en AI kan finde fejl, men i at den kan udfordre sine egne konklusioner, før et menneske skal bruge tid på at verificere dem. Det er en model, der kan overføres til andre områder end sikkerhed, hvor agentisk AI ellers arbejder med høj selvsikkerhed uden indbygget skepsis.

At bygge en falsifikationsmotor ind i en AI-agent kræver mere end at give den adgang til kode. Det kræver, at agenten faktisk skifter perspektiv og aktivt leder efter modbeviser, hvilket i praksis betyder flere kald til den underliggende model og en mere kompleks arbejdsgang. Det er en pris jeg kender fra mine egne systemer: den ekstra kompleksitet betaler sig, når den reducerer støj og øger tilliden til, hvad agenten rent faktisk leverer. En agent, der ikke kan vise, hvorfor den nåede sin konklusion, er ikke en medarbejder; den er en risiko med god pr.