Google TabFM: Foundation-model til tabeldata

TabFM bruger en teknik kaldet in-context learning. I stedet for at justere modellens vægte på baggrund af et træningsdatasæt, får modellen hele tabellen, eller en stor del af den, som kontekst i selve forespørgslen. Modellen ser rækker med kendte resultater og rækker, hvor resultatet mangler, og forudsiger de manglende værdier ud fra mønstrene i de rækker, den allerede kan se. Det sker i ét enkelt API-kald.

Det er den samme grundtanke, som gør store sprogmodeller i stand til at løse nye opgaver ud fra få eksempler i selve prompten, bare overført til strukturerede tabeller med tal, kategorier og manglende felter i stedet for tekst. For en virksomhed betyder det, at man kan pege modellen på et helt nyt datasæt, hvad enten det er kundefrafald, kreditrisiko eller lagerprognoser, og få en forudsigelse uden at bygge en trænings-pipeline først.

TabFM er ikke opfundet i et tomrum. Google Research bygger videre på to tidligere tabelmodeller, TabPFN og TabICL, som begge har vist, at transformerarkitekturer kan lære mønstre i tabeldata uden klassisk gradient-træning på selve opgaven. TabFM's bidrag er en arkitektur, der skifter mellem to former for opmærksomhed: én der ser på tværs af rækker i tabellen, og én der ser på tværs af kolonner.

Den skiftevise attention betyder, at modellen kan fange sammenhænge både mellem enkeltrækker, altså relationer mellem observationer, og mellem kolonner, altså relationer mellem variable. For tabeldata er det afgørende, fordi en tabels struktur sjældent er lige så lineær som en tekstsætning. En kunderække og en produktkolonne bærer forskellig slags information, og TabFM er bygget til at behandle dem forskelligt i stedet for at flade det hele ud til én lang sekvens.

Det mest opsigtsvækkende ved TabFM er, hvad den er trænet på: udelukkende syntetiske data. Google Research har ikke fodret modellen med virkelige tabeller fra sundhedsvæsen, finans eller detailhandel under prætræningen. I stedet er den trænet på kunstigt genererede tabeller, der er designet til at dække et bredt spekter af statistiske mønstre, relationer og datatyper.

Det er en bevidst arkitektonisk beslutning, ikke en begrænsning. Ved at træne på syntetiske data undgår man både copyright- og privatlivsproblemer ved at bruge virkelige datasæt, og man kan i princippet generere lige så meget træningsdata, som modellen har brug for, uden at være afhængig af, hvad der findes offentligt tilgængeligt. Testen af tilgangen er, om de mønstre, modellen lærer fra det syntetiske univers, generaliserer til tabeller fra den virkelige verden, den aldrig har set. Ifølge Google Research er det netop det, benchmarkresultaterne viser.

TabFM er blevet testet på TabArena, en benchmarksuite specifikt bygget til at sammenligne tabelmodeller på tværs af domæner og opgavetyper. Her lander modellen konkurrencedygtigt med etablerede metoder som gradient boosting og specialiserede tabel-transformere, uden at kræve den træningstid og det datasætspecifikke setup, de klassiske metoder normalt forudsætter.

Det er værd at være præcis om, hvad det betyder: TabFM slår ikke nødvendigvis de bedste specialtrænede modeller på hver eneste opgave. Pointen er, at den kommer tæt på uden nogen træningsfase overhovedet. For en opgave, hvor man i dag bruger dage eller uger på at bygge og validere en model, er den reelle sammenligning ikke bare nøjagtighed mod nøjagtighed, men nøjagtighed mod den tid og de ressourcer, det tager at komme derhen.

Vi arbejder med virksomheder, der vil have AI til at levere konkrete forudsigelser på egne forretningsdata, og her rammer TabFM noget centralt: tærsklen for at afprøve en model på et nyt datasæt falder markant, når man ikke først skal bygge en trænings-pipeline for at finde ud af, om ideen bærer.

På tværs af større AI-projekter er det ofte netop opstartsfasen, ikke selve modelvalget, der sluger tiden i virksomheder, der vil i gang med data-drevne forudsigelser. Det har jeg set gentage sig igen og igen. En model, der kan give et brugbart første svar i ét API-kald, flytter den samtale fra "kan vi bygge det her" til "hvor godt virker det på vores data", allerede i første møde.

Det betyder ikke, at klassisk modeltræning bliver overflødigt. Til opgaver, hvor man har rigelig historik og skal presse den sidste procent ud af nøjagtigheden, vil specialtrænede modeller stadig have en plads. Men til hurtig validering, til datasæt hvor man mangler historik til at træne noget selv, og til situationer hvor man skal teste flere hypoteser hurtigt, åbner en model som TabFM en genvej, der simpelthen ikke fandtes for tabeldata før nu.