Cannes-erklæringen: Kognitiv suverænitet mod

Dataetisk Tænkehandletank formulerer det kort sagt som retten til at tænke selv, uden at blive skubbet i en bestemt retning af et system, der er bygget til at virke tillidsvækkende. Kognitiv suverænitet dækker over brugerens ret til at træffe egne beslutninger, danne egne holdninger og bevare kontrollen over sin opmærksomhed, uden at et AI-system aktivt forsøger at forme den retning.

Det centrale problem, erklæringen peger på, er ikke AI-agenter i sig selv, men den stigende grad af antropomorfisering, altså at systemerne designes til at fremstå som venlige, empatiske eller autoritative for at øge brugerens tillid og engagement. Jo mere et system ligner en person, man kan stole på, jo lettere er det at glide fra hjælpsom vejledning til reel adfærdspåvirkning, uden at brugeren registrerer forskellen. Jeg genkender mekanismen fra mit eget arbejde med at bygge agenter. Den kommer sjældent af ond vilje, men af at man optimerer for tillid frem for gennemsigtighed.

Det er en pointe, der rammer bredere end teknologibranchen. Vi har set den samme mekanisme i sociale medier og anbefalingsalgoritmer i årevis, men med AI-agenter bliver den langt mere personlig, fordi systemet nu taler direkte til dig, husker din historik og tilpasser sin tone efter, hvad der virker bedst på netop dig.

Grænsen er sjældent skarp, og det er netop pointen. En AI-agent, der foreslår den bedste løsning ud fra din situation, er hjælpsom. En AI-agent, der konsekvent styrer dig mod det svar, der gavner leverandøren mest, uden at gøre det tydeligt, bevæger sig ind i manipulerende territorium, selv hvis intentionen fra starten var god.

De tre klareste advarselstegn er: systemet skjuler, at det er en anbefaling frem for et objektivt svar, systemet udnytter brugerens tillid til at presse på beslutninger, der ikke er i brugerens interesse, og systemet er designet til at maksimere engagement eller afhængighed frem for at løse brugerens faktiske problem. Ingen af delene kræver ond vilje fra udviklerens side. De opstår ofte som et biprodukt af, at man optimerer for de forkerte målepunkter, for eksempel hvor længe brugeren bliver i samtalen frem for om problemet reelt blev løst.

For virksomheder, der bygger eller køber AI-agenter til kundeservice, salg eller intern support, er erklæringen fra Dataetisk Tænkehandletank en påmindelse om, at designvalg har etiske konsekvenser, længe før man taler om regulering. Hos AI Enterprise driver jeg større AI-projekter for danske virksomheder fra problemafklaring til drift, og den samtale om, hvor grænsen går mellem hjælpsom og påvirkende, dukker op langt oftere, end man skulle tro, allerede i de tidlige designfaser.

Det praktiske spørgsmål bliver: designer vi vores agent til at give brugeren det bedste svar, eller designer vi den til at give brugeren det svar, der er nemmest at sælge videre? De to mål falder ofte sammen, men ikke altid, og det er netop i de tilfælde, hvor de ikke gør, at erklæringens principper bliver relevante.

Der er også en tillidsdimension, som mange virksomheder overser. En AI-agent, der er gennemsigtig om sine begrænsninger og sine anbefalingers grundlag, opbygger langsigtet tillid hos kunderne. En agent, der fremstår som en autoritet uden at afsløre sine forudsætninger, kan skabe hurtigere konvertering på kort sigt, men risikerer at underminere tilliden, den dag brugeren opdager, hvordan systemet reelt fungerede.

Det starter med gennemsigtighed om, hvad agenten er, og hvad den ikke er. Jeg gør det altid tydeligt for brugeren, at de taler med et automatiseret system, og jeg er eksplicit om, hvornår en anbefaling er baseret på virksomhedens forretningsinteresser frem for en objektiv vurdering af brugerens behov.

Dernæst handler det om, hvordan systemet måles internt. Hvis succeskriteriet primært er tid brugt i samtalen eller antal gennemførte salg, vil systemet over tid optimere sig selv mod adfærd, der ligner manipulation, selv uden at nogen har programmeret det direkte. Jeg bygger i stedet målepunkter, der afspejler, om brugerens faktiske problem blev løst.

Endelig bør virksomheder overveje, hvor meget agenten bør efterligne menneskelig varme og empati. Det er fristende at gøre en agent så menneskelig som muligt, fordi det øger tilliden og engagementet, men det er præcis den mekanisme, Cannes-erklæringen advarer imod. En agent kan være venlig og professionel, uden at den behøver at forsøge at fremstå som en ven eller en autoritet, brugeren ikke stiller spørgsmålstegn ved.