Shopifys LLM-proxy: AI-infrastruktur

De fleste virksomheder, der bygger AI-funktioner, kobler sig direkte op på én udbyders API. Det virker fint, indtil udbyderen hæver priserne, ændrer modellens adfærd med en stille opdatering, eller går ned i en periode, hvor kundeoplevelsen afhænger af den. Shopify har elimineret den sårbarhed ved at lægge en gennemtænkt AI-arkitektur imellem sine interne AI-produkter og de underliggende modeller.

Proxyen fungerer som en switchboard. Når et team bygger en funktion, taler de med proxyen, ikke direkte med en bestemt model hos en bestemt udbyder. Proxyen beslutter, hvilken model der faktisk besvarer forespørgslen, og kan skifte det valg fra den ene dag til den anden, uden at nogen af de team, der bruger platformen, behøver vide det. Går en model ned, eller bliver den udfaset, falder trafikken automatisk over på en anden. For udviklerne er det usynligt. For forretningen er det den forskel, der afgør, om en nedlukning hos en udbyder bliver et par timers ustabilitet eller en fuld produktionsstop.

Det er en arkitektonisk beslutning, der koster noget at bygge, men som betaler sig tilbage hver gang AI-landskabet rykker sig, og det gør det ofte i disse år.

Den anden halvdel af Shopifys infrastruktur er mindst lige så interessant: en destilleringsplatform, der tager en stor, dyr model og bruger den til at træne en mindre, langt billigere model til en specifik opgave.

Princippet er ligetil. En frontier-model, altså en af de største og dyreste sprogmodeller på markedet, er god til næsten alt, men den er dyr at køre i stor skala. De fleste produktionsopgaver kræver ikke den brede generalisering, de kræver, at én bestemt opgavespecifik model løses konsekvent godt, for eksempel at kategorisere en supporthenvendelse eller udtrække data fra en produktbeskrivelse. Ved at lade frontier-modellen generere træningseksempler og derefter bruge dem til at finjustere en langt mindre model, kan Shopify opnå næsten samme kvalitet på den snævre opgave til en brøkdel af prisen.

Det vigtige er, at platformen gør destillering til en gentagelig proces frem for et engangsprojekt. Når en ny frontier-model kommer på markedet og er bedre end den forrige, kan Shopify køre den samme destilleringspipeline igen og opdatere sine specialiserede modeller uden at bygge infrastrukturen om fra bunden.

Det er let at tegne en elegant arkitektur på en whiteboard. Det svære er at få den til at bære reel produktionstrafik. Shopify har to konkrete eksempler, der viser, at proxyen og destilleringsplatformen ikke bare er interne eksperimenter.

Sidekick, Shopifys AI-assistent til handlende, kører gennem den samme infrastruktur. Assistenten skal svare hurtigt, forstå kontekst om den enkelte butik, og gøre det til en overkommelig pris, selv når millioner af handlende bruger den samtidig. Det er præcis den type opgave, hvor en destilleret model giver mening frem for at sende hver eneste forespørgsel til den dyreste model på markedet.

River, som er en nyere del af porteføljen, demonstrerer det samme princip på en anden opgave. Fælles for begge produkter er, at de har kunnet drage nytte af modelopgraderinger og udbyderskift, uden at selve produktet skulle omskrives. Det er den slags bevis, der tæller mere end en teknisk beskrivelse, fordi det viser, at arkitekturen holder under reelt forretningspres, ikke kun i et kontrolleret testmiljø.

Der er en vigtig forskel mellem at bruge AI og at eje sin egen AI-infrastruktur. De fleste virksomheder befinder sig i den første kategori: de tilpasser sig, når en udbyder ændrer sin API, hæver priserne eller udfaser en model. De er passive i forhold til udviklingen, fordi de ikke har bygget noget lag, der kan absorbere forandringen.

Shopifys proxy og destilleringsplatform flytter selskabet over i den anden kategori. Når en ny model lanceres, er spørgsmålet ikke længere "skal vi omskrive vores integration", det er "skal vi rutere mere trafik hertil". Når en udbyder ændrer prisstruktur, er svaret ikke en hastesamtale med jura og indkøb, det er en justering i proxyens routing-logik.

Det er den slags løftestang, der gør AI til en driftsparameter man kan optimere løbende, i stedet for en strategisk risiko man må leve med. Forskellen bliver tydeligst i de perioder, hvor markedet er mest ustabilt, og det er lige nu, med nye modeller, der lanceres i højt tempo og priser, der ændrer sig fra kvartal til kvartal.

De fleste danske virksomheder, der er begyndt at bruge AI i deres produkter eller processer, har gjort det samme som langt de fleste globalt: koblet sig direkte op på én udbyders API og bygget videre derfra. Det er den hurtigste vej til at komme i gang, men det er også den vej, der gør organisationen sårbar over for beslutninger, den ikke selv kontrollerer.

Destillering er sværere at bygge selv, men princippet, at man ikke skal bruge den dyreste model til alt, gælder uanset virksomhedens størrelse. Mange opgaver, en dansk virksomhed løser med AI i dag, kunne løses billigere med en mindre, mere specialiseret model, hvis nogen tog sig tid til at måle, hvad opgaven reelt kræver.

Det, der adskiller virksomheder, der får varig værdi af AI, fra dem der blot følger med, er ofte ikke hvilken model de bruger. Det er, om de har bygget et lag, der gør dem uafhængige af det svar.