AgentCore Browser: automatiseret web-indsigt

Traditionel web scraping bygger typisk på faste selektorer og statiske HTML-parsere. Jeg har set dem knække nok gange til at kende mønstret: et website skifter design, og et helt overvågningssetup går i sort samme aften. AgentCore Browser løser problemet ved at give en AI-agent en fuld, styret browserinstans i skyen. Agenten kan navigere, vente på JavaScript-rendering og håndtere dynamisk indhold på samme måde, som en menneskelig bruger ville gøre det. Det betyder, at pipelinen ikke bryder sammen, når et website skifter design eller tilføjer nye lag af klientside-logik.

Den afgørende forskel ligger i, at browserinstansen kører isoleret og skalerbart i AWS' infrastruktur, i stedet for at være afhængig af en lokal Chromium-proces, der let bliver en flaskehals ved høj belastning. Det er den samme afvejning, jeg selv tager stilling til med kunder, når vi skal vælge mellem at drifte browser-infrastruktur selv eller læne os op ad en administreret tjeneste. Her får man en løsning, der kan overvåge mange kilder parallelt, uden selv at skulle drifte og vedligeholde browser-laget.

Pipelinen starter med, at systemet abonnerer på RSS-feeds fra de kilder, man ønsker at følge. Når et nyt indlæg dukker op i feedet, sender systemet en anmodning videre til AgentCore Browser, som åbner selve artikelsiden og lader den rendere fuldt ud. Det er et vigtigt skridt, fordi mange nyhedssider i dag bruger dynamisk indlæst indhold, hvor RSS-feedets tekst kun er et resumé, og den fulde artikel først vises, når siden er færdigindlæst i browseren.

Når siden er renderet, udtrækkes den relevante tekst og struktureres, så den kan sendes videre til AI-modellen. Det er det trin, jeg selv har brugt flest timer på at fejlfinde i egne opsætninger, fordi hver kilde har sin egen struktur. Ved at lade en agent styre browseren i stedet for at kode faste regler for hver enkelt side, undgår man den evige vedligeholdelse, hvor man retter en selektor i dag og en anden i næste uge.

Når artikelteksten er hentet og renset, sendes den videre til en Bedrock-model, der udtrækker de relevante informationer: emner, nøglepersoner, sentiment og andre strukturerede datapunkter, afhængigt af hvad man har brug for at spore. Det er her, den rå tekst bliver til brugbar viden, og det er også her, jeg ser flest kunder undervurdere arbejdet: udtrækket er kun så godt som de felter, man rent faktisk beder modellen om at finde.

Resultatet gemmes i OpenSearch Serverless, som fungerer som det søgbare lag oven på hele pipelinen. Fordelen ved en serverless søgeløsning er, at man ikke skal dimensionere klynger eller styre skalering manuelt. Man betaler for det, man bruger, og løsningen vokser automatisk i takt med, at mængden af overvågede kilder og artikler stiger. For en virksomhed, der ønsker at holde øje med konkurrenter, brancheomtale eller regulatoriske ændringer, betyder det, at man kan stille naturlige søgninger og få svar på tværs af tusindvis af indekserede artikler, i stedet for at skulle grave manuelt gennem nyhedsbreve og alerts.

Det, der gør denne opsætning interessant, er ikke de enkelte komponenter hver for sig, men måden de spiller sammen på. Lambda-funktioner fungerer som limen, der trigger hvert trin i pipelinen: fra RSS-pollingen, over kaldet til AgentCore Browser, til AI-udtrækket via Bedrock og til sidst indekseringen i OpenSearch. Hele forløbet kører hændelsesdrevet, hvilket betyder, at systemet kun bruger ressourcer, når der faktisk er noget nyt at behandle.

Den arkitektur er beslægtet med den type agentiske pipelines, jeg har set brede sig på AWS' platform det seneste år, hvor AgentCore-familien af værktøjer i stigende grad bindes sammen med Lambda og Bedrock for at løse opgaver, der før krævede meget manuel infrastruktur.

For virksomheder, der i dag betaler for manuel eller delvist automatiseret overvågning af nyheder, konkurrenter eller myndighedskrav, viser denne arkitektur en vej mod noget, der både er billigere at drive og mere stabilt, når kilderne ændrer struktur, uden at nogen skal ind og rette selektorer hver gang. Man slipper for konstant vedligeholdelse af skrøbelige scrapere, fordi AgentCore Browser håndterer variationen i sidernes struktur på agentens eget niveau.

Det praktiske spørgsmål for de fleste virksomheder er, hvor mange kilder man reelt har brug for at overvåge, og hvor ofte. En pipeline som denne kan konfigureres til at køre kontinuerligt eller på faste intervaller, alt efter hvor tidskritisk overvågningen er. For brancher, hvor tidlig indsigt i markedsændringer, regulatoriske skift eller konkurrentaktivitet har direkte forretningsværdi, er det netop den slags automatisering, der flytter overvågningen fra en tung, manuel opgave til noget, der kører i baggrunden og leverer søgbare svar, når man har brug for dem.