Weka NeuralMesh 6: storage der aflaster

Den centrale nyhed er det, Weka kalder en augmented memory grid. Når en AI-model behandler en forespørgsel, genererer den undervejs en række mellemregninger, ofte kaldet KV-cache, som modellen bruger til at undgå at genberegne den samme kontekst igen og igen. I dag ligger den cache typisk i GPU'ens egen hukommelse, fordi det er det hurtigste sted at hente den fra. Problemet er, at GPU-hukommelse er begrænset og dyr, og jo mere af den, der bruges til cache, jo mindre er der til selve modelberegningen.

Wekas løsning er at flytte den cache ud på flash-lagring, som er markant billigere pr. gigabyte, men stadig hurtig nok til, at modellen kan hente data derfra uden mærkbar forsinkelse. Ifølge Weka kan platformen cache samtlige forudberegnede tokens for en given session, ikke bare et udvalg. Det betyder i praksis, at en model kan genoptage en samtale eller en lang kontekst uden at skulle starte beregningen forfra, selv når sessionen har ligget stille i en periode.

Det lyder som en teknisk detalje, men det er kernen i, hvorfor GPU-omkostninger i produktionsdrift ofte løber løbsk. Mange virksomheder oplever, at GPU'erne bruger en stor del af deres kapacitet på at genberegne kontekst, de reelt har set før, i stedet for at bruge kapaciteten på nye forespørgsler.

Wekapod 3 er den hardwareplatform, som understøtter det nye lag. Den er bygget til at levere den nødvendige gennemstrømning mellem flash-lagringen og GPU-klyngen, så caching-laget ikke selv bliver en flaskehals. Sammen med den lancerer Weka også forbedret multi-tenancy, altså muligheden for at flere teams eller kunder kan dele den samme infrastruktur uden at data eller ydeevne blander sig utilsigtet, samt en mere forenet tilgang til lagring på tværs af forskellige workloads.

AlloyFlash er navnet på Wekas nye tilgang til selve flash-laget, en kombination der skal give bedre kapacitetsudnyttelse uden at gå på kompromis med den hastighed, som caching af tokens kræver. Vi ser det som en naturlig udvikling af, hvordan storage-leverandører positionerer sig i forhold til AI-infrastruktur: i stedet for blot at levere plads til data, bygger de nu specifikt til de mønstre, som store sprogmodeller skaber i produktion.

For virksomheder, der kører AI-modeller i produktion, er den mest konkrete konsekvens en mulig reduktion i, hvor mange GPU'er der skal indkøbes eller lejes for at holde svartiderne nede. Når flash-lagring kan overtage cachingopgaven, frigøres GPU-hukommelse til det, den faktisk er bedst til: selve beregningen. Det kan enten betyde, at eksisterende GPU-flåder rækker længere, eller at nye workloads kan tilføjes uden en tilsvarende stigning i hardwareindkøb.

Vi arbejder løbende med virksomheder, der forsøger at få mere ud af deres eksisterende AI-infrastruktur, fra problemafklaring til drift, og det er netop denne type flaskehalse, der ofte viser sig at koste mest i det lange løb. En lagringsstrategi, der er bygget specifikt til AI-arbejdsbelastninger, er sjældent den første investering, en virksomhed overvejer, men den kan vise sig at være en af de mest effektive, når regningen for GPU-drift begynder at stige.

Det er endnu for tidligt at sige, hvor stor besparelsen bliver i praksis, det afhænger af workload, sessionlængde og hvor meget kontekst der genbruges. Men princippet peger i en retning, mange virksomheder allerede leder efter: mindre afhængighed af rå GPU-kapacitet og mere intelligent brug af den infrastruktur, der allerede findes.