En AI-assistent i et skatteprodukt skal kunne svare rigtigt, vise
En AI-assistent i et skatteprodukt skal kunne svare rigtigt, vise hvor svaret kommer fra og holde sig inden for det, den enkelte bruger må se. Det er præcis den kombination, Taxbit har bygget med Taxbit Assist, en agent der kører på Amazon Bedrock AgentCore. Casen er interessant, fordi den handler om drift og kontrol, ikke om hvor smart en model er.
Placering
En assistent indlejret i dashboardet, ikke ved siden af
De fleste starter med en chatbot, der lever i sit eget vindue og ikke ved, hvad brugeren laver. Taxbit har valgt det modsatte. Assistenten sidder i selve dashboardet, hvor brugeren allerede arbejder.
Det ændrer, hvad et godt svar er. Når agenten er indlejret, behøver den ikke at få forklaret, hvem brugeren er, eller hvor vedkommende står. Det sparer friktion og mindsker risikoen for, at et generisk svar bliver brugt på en konkret situation. En agent, der er teknisk i orden, men placeret et sted, hvor ingen finder den på det rigtige tidspunkt, bliver aldrig brugt.
Vidensbase
Svar forankret i en kurateret vidensbase
I skatteområdet er et selvsikkert, men forkert svar værre end intet svar. Taxbit lader agenten svare ud fra en kurateret vidensbase, og svarene har kildehenvisninger. Brugeren kan selv se, hvor en påstand kommer fra, i stedet for at stole på modellens formulering.
Det er en enkel designregel med stor effekt. Når agenten kun bygger på indhold, virksomheden selv har udvalgt, flytter ansvaret for kvaliteten fra modellens hukommelse til dem, der passer vidensbasen. Den kan versioneres og rettes, når reglerne ændrer sig. Og en fejl er lettere at spore: Enten var kilden forkert, eller også blev den brugt forkert. Det er min egen vurdering, men en agent uden spor at følge er en agent, jeg ikke vil have i drift.
Adgangsstyring
Rolle og region afgør, hvad agenten må vise
Det mest overførbare element er adgangsstyringen. Ifølge AWS' beskrivelse håndhæver Taxbit Assist rollebaseret og regionsspecifik sikkerhed og overholder lokale compliance-krav. Skatteregler varierer fra land til land, så regionen er en faglig nødvendighed og ikke kun en sikkerhedsdetalje.
Her stopper mange agentprojekter op. Det er let at lade en agent læse alt og så håbe, at prompten holder den på måtten. Det er en tynd beskyttelse. Min tommelfingerregel er, at grænsen skal ligge uden for modellen, så agenten aldrig får udleveret mere, end brugeren selv har ret til at se. Hvordan Taxbit har løst det i detaljen, fremgår ikke af det, jeg har set, så den del er min læsning og ikke deres facit.
Evaluering
Kvalitetsmåling på live trafik i stedet for engangstest
En agent, der bestod en testrunde ved lanceringen, er ikke dermed god tre måneder senere. Vidensbasen ændrer sig, brugerne stiller nye spørgsmål, og modeller opdateres. Taxbit måler derfor svarkvaliteten løbende på live produktionstrafik og ikke kun før udrulning.
Det er en driftsdisciplin. Evaluering hører til ved siden af overvågning af oppetid og ikke i et projektskridt, man krydser af og glemmer. Forringelser opdages, mens de sker, og man justerer vidensbase, instruktioner eller modelvalg på målinger frem for mavefornemmelse.
Erfaringer
Hvad danske virksomheder kan tage med sig
Taxbit-casen peger på fire ting, der kan overføres uden samme platform. Det er de fire krav, jeg ville stille, før en agent får lov at røre rigtige data.
Assistenten skal sidde dér, hvor arbejdet foregår. En agent i brugerens eget flow bliver brugt, en agent ved siden af bliver let glemt.
Svarene skal kunne efterprøves. Kildehenvisninger og en kurateret vidensbase lader både brugeren og jer se, hvorfor et svar lyder, som det gør. I regulerede brancher som skat, finans og sundhed er det næsten et mindstekrav.
Rettigheder skal styre adgangen, ikke prompten. Beslut tidligt, hvilke roller og regioner der skal have forskellige svar, og byg det ind i arkitekturen, før agenten kommer i nærheden af rigtige data.
Kvalitetsfald skal have en ejer. Aftal kriterierne fra start og navngiv en person, der reagerer. Uden en ejer og et ugentligt blik på tallene har I en pilot og ikke en driftsløsning.
Agenter bliver brugbare i virksomheder, når de er indlejrede, efterprøvelige, afgrænsede og målt løbende.