Snowflake Cortex AI Gateway: 3x billigere AI

Når en forespørgsel rammer Cortex AI Gateway, bliver den ikke længere sendt direkte til en fast model. I stedet vurderer gatewayen først, hvad opgaven kræver, og sender den videre til den model i porteføljen, der kan løse den til lavest mulige pris. En kort tekstopsummering eller et simpelt dataopslag ender typisk hos en mindre, billigere model, mens en opgave med flere trin, kompleks ræsonnering eller domænespecifik viden sendes til en større model. Det sker automatisk og uden ekstra konfiguration fra udviklerens side, hvilket er den væsentligste ændring i forhold til, hvordan de fleste virksomheder i dag arbejder med sprogmodeller: fast model, fast pris, uanset opgave.

For virksomheder, der allerede har store AI-regninger, betyder det en potentiel besparelse uden at skulle bygge deres egen routing-logik. Det er en opgave, mange teknologiteams ellers har forsøgt at løse selv, med blandet succes.

Kernen i systemet er en lille klassificeringsmodel, der læser hver forespørgsel og vurderer dens kompleksitet, før den sendes videre. Denne klassifikator fungerer som en slags trafikdirigent: den kigger ikke på indholdet i detaljer, men på strukturelle og semantiske signaler i forespørgslen, som fortæller, om opgaven kræver dyb ræsonnering eller blot en hurtig, faktuel besvarelse.

Denne tilgang minder om et princip, vi ser flere steder i AI-industrien i øjeblikket: at lade en billig, hurtig model træffe beslutningen om, hvilken model der skal løse selve opgaven. Det er beslægtet med kaskadearkitekturer, hvor forespørgsler filtreres gennem lag af stigende kompleksitet, i stedet for at alt sendes til den mest avancerede model med det samme. Fordelen er indlysende: man betaler kun for den regnekraft, opgaven faktisk kræver. Ulempen er, at klassifikatoren skal være præcis nok til ikke at underestimere en kompleks opgave og dermed sende den til en model, der ikke kan levere et brugbart svar.

Snowflakes interne test peger på besparelser på op til tre gange i forhold til at sende alle forespørgsler til en enkelt, kraftfuld model. Det tal skal læses med et vist forbehold, for den reelle besparelse afhænger helt af, hvordan en given virksomheds forespørgsler fordeler sig mellem simple og komplekse opgaver. En virksomhed, der primært stiller enkle spørgsmål til sine data, vil se en større besparelse end en virksomhed, hvor de fleste forespørgsler kræver dyb analyse.

Det, der gør tallet interessant, er ikke den præcise faktor, men princippet bag det: omkostningerne til AI begynder at afspejle den faktiske sværhedsgrad af opgaven i stedet for en fast pris pr. forespørgsel. For virksomheder, der har set deres AI-budgetter vokse hurtigt, uden at det nødvendigvis har afspejlet et tilsvarende løft i værdi, er det en konkret vej til at få omkostningerne under kontrol uden at skulle skære i, hvor meget AI de bruger.

Det, der adskiller Snowflakes tilgang fra en ren omkostningsoptimering, er, at model-routingen kører gennem den samme adgangsstyring, som allerede styrer, hvem der må se hvilke data i platformen. Det betyder, at en forespørgsel, der rutes til en given model, stadig respekterer de samme rettigheder og politikker, som gælder for den bruger eller det system, der stiller spørgsmålet. Man undgår dermed et scenarie, hvor optimering for pris utilsigtet omgår de adgangskontroller, en virksomhed allerede har sat op omkring sine data.

For virksomheder, der arbejder med følsomme data, compliance-krav eller adskilte afdelinger med forskellige adgangsniveauer, er det en vigtig detalje. Det betyder, at man ikke skal vælge mellem at spare penge på AI og at holde styr på, hvem der har adgang til hvad. De to ting hænger sammen i samme system, i stedet for at være to separate lag, man selv skal koordinere.

Snowflake er langt fra alene om at bygge intelligent model-routing ind i deres platform. Nvidia har satset på en lignende tilgang i sit eget routing-lag, hvor forespørgsler dirigeres mellem modeller af forskellig størrelse baseret på opgavens kompleksitet. Databricks, AWS og Google Cloud arbejder alle med varianter af det samme princip i deres respektive platforme, ofte med fokus på at gøre det nemt for udviklere at bruge flere modeller uden selv at skulle bygge routing-logikken.

Det, der adskiller Snowflakes udspil, er koblingen til virksomhedens eksisterende data-infrastruktur og adgangsstyring. Hvor mange konkurrerende løsninger primært lever som et lag oven på modellerne, er Cortex AI Gateway bygget ind i den platform, hvor virksomhedens data allerede ligger, og hvor adgangsreglerne allerede er defineret. Det giver Snowflake en fordel hos virksomheder, der i forvejen bruger platformen til deres data-arbejde, og som ønsker, at AI-laget skal arve de samme sikkerhedsprincipper i stedet for at skulle konfigureres separat.