Et loft for pålidelighed i multi-model AI
Når to eller flere AI-modeller arbejder sammen om en opgave, antager de fleste virksomheder at fejlraten falder, fordi modellerne kan rette hinandens fejl. Ny forskning peger på det modsatte: der findes et loft for, hvor pålidelig en multi-model-opsætning kan blive, og virksomheder undervurderer typisk den reelle fejlrate med en faktor på 2,25. Det loft kaldes co-failure ceiling, og det ændrer, hvordan man bør designe AI-arbejdsgange med flere modeller.
Hvad co-failure ceiling egentlig måler
Co-failure ceiling beskriver den øvre grænse for, hvor meget en gruppe af AI-modeller fejler samtidig på den samme opgave, uafhængigt af hvor gode de enkelte modeller er hver for sig. Tanken bag mange multi-model-arkitekturer er, at hvis model A fejler, fanger model B eller C fejlen, fordi modellerne har forskellige svagheder. Det holder kun, hvis modellernes fejl faktisk er uafhængige af hinanden.
Problemet er, at moderne sprogmodeller ofte er trænet på overlappende datasæt, bruger beslægtede arkitekturer og deler de samme blinde vinkler. Når en opgave rammer et område, hvor flere modeller har samme svaghed, fejler de sammen, ikke uafhængigt. Det er den korrelerede fejl, co-failure ceiling forsøger at kvantificere: hvor ofte fejler modellerne på samme tid, på samme type opgave, af de samme grunde. Se også selvsikkert forkerte svar fra AI-agenter.
Det betyder i praksis, at man ikke kan regne fejlraten for en multi-model-opsætning ud fra de enkelte modellers dokumenterede nøjagtighed ganget sammen. De statistiske antagelser, mange virksomheder bruger til at estimere pålidelighed, holder ikke, når modellerne er korrelerede frem for uafhængige.
Derfor undervurderer virksomheder fejlraten markant
Faktoren 2,25 er ikke en lille afvigelse. Den betyder, at en opsætning, man har budgetteret med fejler i én ud af hundrede tilfælde, i virkeligheden fejler tættere på én ud af fyrre. For en enkeltstående AI-forespørgsel er det håndterbart. For en produktionslinje, hvor AI-output fodrer beslutninger i kundeservice, dataanalyse eller automatiseret sagsbehandling, akkumuleres den slags afvigelser hurtigt. Det minder om mønstret set hos agenter der reelt kun er chatbots.
Den grundlæggende fejl i mange virksomheders risikovurdering er, at man behandler flere modeller som uafhængige forsikringer mod fejl, i stil med at have to røgalarmer i stedet for én. Men hvis begge røgalarmer er fra samme producent, med samme sensor, og begge fejler i høj luftfugtighed, har man ikke fordoblet sin sikkerhed. Man har bare to enheder, der fejler under de samme betingelser.
Det samme mønster gælder for AI-modeller, der er trænet på lignende webskrabede datasæt og finjusteret med lignende metoder. Når opgaven rammer et hjørne af virkeligheden, hvor træningsdataen var tynd eller forvrænget, rammer det alle modellerne på én gang.
Hvis begge røgalarmer er fra samme producent og begge fejler i høj luftfugtighed, har man ikke fordoblet sin sikkerhed.
Hvorfor dyre routere og Mixture-of-Agents ikke løser problemet
Mange enterprise-arkitekturer har investeret i routere, der sender opgaver til den model, der forventes at klare den bedst, eller i Mixture-of-Agents-mønstre, hvor flere modeller stemmer om det bedste svar. Begge tilgange bygger på en antagelse om, at fejlene spreder sig tilfældigt nok til, at et flertal eller en klog router kan filtrere dem fra.
Co-failure ceiling viser, at den antagelse er svagere, end arkitekturen foregiver. En router, der vælger mellem tre modeller med korrelerede svagheder, reducerer ikke risikoen nævneværdigt, fordi routerens eget valg stadig er begrænset af, at alle kandidaterne kan fejle på den samme opgavetype samtidig. Stemmemekanismer i multi-agent AI-systemer lider af samme svaghed: hvis tre ud af fire modeller deler den samme blinde vinkel, vinder det forkerte svar afstemningen.
Det forklarer, hvorfor virksomheder ofte oplever, at dyre, komplekse multi-model-pipelines ikke leverer den pålidelighedsgevinst, budgettet forudsatte. Kompleksiteten stiger, omkostningerne stiger, men fejlraten flader ud tættere på loftet end på den teoretiske forbedring, man regnede med på papiret.
Sådan hæver du loftet: modelvalg og opgavedesign
Den praktiske konsekvens er, at pålidelighed i multi-model-opsætninger ikke kommer fra at stable flere modeller oven på hinanden. Den kommer fra at reducere korrelationen mellem modellernes fejl.
Første skridt er at vælge modeller med reelt forskellig oprindelse, forskellige træningsdatasæt og gerne forskellige arkitekturfamilier, frem for flere versioner af samme model eller modeller trænet af samme leverandør på lignende data. Jo mere forskelligartede modellernes fejlmønstre er, jo tættere kommer man på den uafhængighed, som statistikken bag multi-model-arkitekturer forudsætter.
Tredje skridt er at måle korrelationen direkte. Log, hvornår modellerne er uenige, og hvornår de fejler samtidig, på tværs af opgavetyper. Den type data afslører, hvor loftet reelt ligger for netop jeres opsætning, og gør det muligt at justere modelvalg og arbejdsgang derefter, i stedet for at stole på en teoretisk fejlrate, der aldrig blev testet mod virkelighedens korrelerede fejl. Det handler i bund og grund om at lukke et strukturelt kontrolgab i AI-drift.