Når en AI-agent skal bygge en data-pipeline, er der stor forskel på
Når en AI-agent skal bygge en data-pipeline, er der stor forskel på at få noget kode, der virker på papiret, og noget, der kan gå i produktion uden at nogen skal rydde op bagefter. Det nye open source-framework DataFlow-Harness angriber netop det problem: det tvinger agenten til at arbejde inden for en struktureret, auditerbar arkitektur i stedet for at generere frit fra scratch. Resultatet er en pipeline, der er lettere at stole på, billigere at køre og nemmere at rette, når noget alligevel går galt.
Arkitektur
Fra natursprog til struktureret pipeline i stedet for løs kode
DataFlow-Harness tager udgangspunkt i en anmodning skrevet i almindeligt sprog, for eksempel "hent salgsdata fra tre kilder, rens dem og saml dem i en samlet tabel", og oversætter den til en konkret, kørbar pipeline. Forskellen fra at bede en generel kodeassistent om det samme er, at agenten ikke bare skriver Python-scripts løst efter hinanden. Den arbejder i stedet inden for en fast struktur, hvor hvert trin er en navngiven, sporbar komponent med et defineret input og output.
Det lyder som en detalje, men det er præcis den detalje, der afgør, om en pipeline kan sendes i produktion, eller om den skal skrives om, når den møder virkelige data med manglende værdier, forkerte typer og uventede formater.
DAG-backend
Den persistente DAG-arkitektur bag pipelinen
Kernen i DataFlow-Harness er en persistent DAG, en rettet acyklisk graf, der gemmer hele pipelinens struktur som et vedvarende objekt i stedet for et engangsscript. Hver node i grafen repræsenterer et konkret transformationstrin, og forbindelserne mellem noderne definerer, hvordan data flyder gennem systemet.
Det betyder tre ting i praksis. For det første kan agenten ændre et enkelt trin uden at skrive hele pipelinen om, fordi resten af grafen står urørt. For det andet kan et menneske gennemgå strukturen visuelt og se nøjagtigt, hvor data kommer fra, og hvad der sker med dem undervejs, hvilket gør fejlfinding væsentligt hurtigere end at læse igennem hundredvis af linjer generisk kode. For det tredje bliver pipelinen i sig selv en form for dokumentation, fordi strukturen afslører logikken, i stedet for at logikken skal udledes af koden.
93,3 procent succesrate og markant lavere omkostninger
Benchmarktal for DataFlow-Harness viser en succesrate på 93,3 procent i at løse pipeline-opgaver korrekt på første forsøg. Til sammenligning ligger frit genereret kode fra en generel kodeassistent som Claude Code omkring 10,9 point lavere på tilsvarende opgaver. Forskellen skyldes ikke, at den underliggende sprogmodel er bedre, men at strukturen begrænser, hvor meget agenten kan afvige fra en holdbar løsning.
Omkostningsbilledet er lige så markant. DataFlow-Harness angives at køre til omkring 72,5 procent lavere omkostning end en sammenlignelig opgave løst med Claude Code. Det hænger sammen med, at en struktureret pipeline kræver færre iterationer, færre fejlrettede forsøg og mindre tokenforbrug per færdig løsning, fordi agenten ikke skal generere og genoverveje hele logikken fra bunden hver gang. Andre frameworks viser lignende gevinster, blandt andet 2,5 gange højere benchmarkresultater på tilsvarende sammenligninger.
Når strukturen er fastlagt på forhånd, flyttes en større del af arbejdet fra kan agenten skrive kode der virker til kan agenten udfylde en struktur, vi allerede stoler på
Gabet mellem en anmodning og en produktionsklar artefakt
Det, DataFlow-Harness egentlig løser, er det, man kan kalde NL2Pipeline-gabet: afstanden mellem en anmodning formuleret i almindeligt sprog og en artefakt, der reelt kan sendes i produktion. De fleste generelle kodeassistenter er gode til det første skridt, at forstå hvad brugeren beder om, men svage til det sidste skridt, at levere noget, der holder i drift over tid.
Det gab er ikke et teoretisk problem. Det er grunden til, at så mange AI-genererede prototyper aldrig kommer længere end til et proof of concept, fordi ingen tør sætte dem i drift uden en fuldstændig omskrivning. Når strukturen er fastlagt på forhånd, som i DataFlow-Harness, flyttes en større del af arbejdet fra "kan agenten skrive kode, der virker" til "kan agenten udfylde en struktur, vi allerede stoler på". Det er en væsentlig forskel i risikoprofil. [VentureBeat rapporterer om forskningen bag DataFlow-Harness](https://venturebeat.com/orchestration/structured-ai-data-pipelines-score-10-9-points-below-free-form-code-dataflow-harness-closes-the-gap), som står bag benchmarktallene ovenfor.
Hvad det betyder for danske virksomheder med AI-agenter i produktion
For virksomheder, der allerede har AI-agenter i drift eller er ved at flytte dem derhen, peger DataFlow-Harness på en bredere tendens: værdien af agentbaserede løsninger stiger, når man begrænser, hvad agenten får lov at improvisere over. Frihed til at generere hvad som helst lyder fleksibelt, men i praksis er det den strukturerede, auditerbare vej, der gør det muligt at sende noget i produktion uden konstant menneskelig kontrol af hvert output.
Da jeg satte de første automatiserede dataflows i drift hos Agent Enterprise, var lektionen den samme: en agent, der må improvisere frit, er hurtig at vise frem og langsom at stole på. Den lektion er præcis det, DataFlow-Harness nu formaliserer i et færdigt, open source værktøj, man kan tage i brug frem for at bygge selv.