Når en virksomhed først har åbnet for sprogmodeller i Amazon Bedrock
Når en virksomhed først har åbnet for sprogmodeller i Amazon Bedrock, begynder de praktiske spørgsmål: Hvem må bruge hvilken model, hvad koster det, og hvem opdager det, når en kvote løber tør? En selvbetjent gateway flytter de spørgsmål væk fra de enkelte projekter og samler dem ét sted, så udviklerne kan komme i gang uden at vente på et ticket.
Hvorfor modeladgang ender som en flaskehals
Modeladgang starter næsten altid som en manuel proces. En udvikler beder om adgang til en model, platformsteamet opretter en IAM-rolle, justerer en politik og sender svar tilbage. Det fungerer for det første team. Med ti teams, tre modeludbydere og skiftende behov bliver det en kø, hvor ingen kan se hele billedet.
Problemet rammer begge sider. Udviklerne venter, og de ender ofte med at kopiere legitimationsoplysninger eller bygge deres egne genveje. Platformsteamet mister overblikket, fordi forbruget er spredt ud over konti, roller og applikationer. Når regningen kommer, kan ingen sige, hvilket projekt der står bag.
En gateway gør adgangen til en tjeneste i stedet for en sag. Udviklere får en nøgle med de rettigheder, deres team er tildelt, og platformsteamet styrer rammerne centralt. Agenten er ikke det svære her. Grænsen er det.
Sådan fungerer gatewayen: LiteLLM på Fargate foran Bedrock
Kernen er LiteLLM, en open source-proxy, der stiller et enkelt, OpenAI-kompatibelt API til rådighed og oversætter kaldene til Bedrock bagved. Ifølge AWS kører proxyen som en container på Fargate, så teamet ikke skal drive servere.
Resten er min egen vurdering af, hvad sådan en opsætning rimeligvis kræver, ikke noget AWS har fastslået. Jeg ville placere en load balancer foran containerne og lade proxyen kalde Bedrock gennem en IAM-rolle, som kun gatewayen bruger. Så får applikationerne aldrig direkte adgang til Bedrock. Alle kald går gennem ét punkt, og man kan ændre, hvem der må hvad, uden at røre hver enkelt applikation.
Til nøgler, budgetter og forbrugslog regner jeg med, at proxyen skal have en database ved siden af. Jeg ville vælge en administreret PostgreSQL, så tilstanden overlever, når containere skiftes ud. Hvis du vil se en tilsvarende kontrolplan for en anden type klient, kan du læse om [Claude apps gateway som selvhostet kontrolplan på AWS](/artikler/claude-apps-gateway-aws-selvhostet-kontrolplan-claude-code-desktop/).
Applikationerne får aldrig direkte adgang til Bedrock. Kun gatewayen har rettighederne, og alle kald går gennem den.
Én API-nøgle til udviklerne, kontrol til platformsteamet
For udviklerne er gevinsten enkel: én adresse og én nøgle. Koden bruger et kendt klientbibliotek, peger på gatewayens adresse og vælger modellen ved navn. Ingen AWS-legitimationsoplysninger i applikationen, ingen særlig Bedrock-kode at lære først.
For platformsteamet er nøglerne selve styringsredskabet. Gatewayen kan udstede virtuelle nøgler knyttet til en bruger eller et team og begrænse, hvilke modeller hver nøgle må kalde. En nøgle kan have udløbsdato og kan inddrages uden at andre påvirkes. Det slår delte hemmeligheder, som ingen tør rotere, fordi ingen ved, hvem der bruger dem.
Selvbetjening betyder, at udvikleren opretter sin egen nøgle inden for de rammer, teamet har fået. Platformsteamet beslutter rammerne én gang. Det samme princip gælder, når man styrer adgang til værktøjer. Se, hvordan [AgentCore Gateway giver governeret værktøjsadgang](/artikler/agentcore-gateway-governed-tool-adgang-modenhedsmodel/).
Skift model uden at røre applikationskoden
Modelvalget flytter fra koden til konfigurationen. Applikationen kalder et navn, for eksempel et internt alias, og gatewayen afgør, hvilken Bedrock-model der svarer. Bliver en model for dyr, ændrer platformsteamet aliaset ét sted.
Det giver også mulighed for at sammenligne modeller på rigtigt forbrug. Lad en del af trafikken gå til en ny model og se, hvordan svarkvalitet, svartid og pris udvikler sig, før alt flyttes. Fordi alle kald allerede går gennem samme punkt, er det en konfigurationsændring og ikke et udviklingsprojekt.
Der er en grænse. Modeller opfører sig forskelligt, selv bag samme API. Prompter, der er finjusteret til én model, kan give dårligere svar på en anden, og struktureret output eller værktøjskald understøttes ikke ens overalt. Gatewayen fjerner den tekniske friktion, ikke behovet for at teste. Afhænger dine applikationer af faste svarformater, er [structured outputs med Claude på Bedrock](/artikler/structured-outputs-claude-amazon-bedrock/) værd at kende, før du omdirigerer trafik.
Omkostninger, kvoter og observerbarhed pr. bruger
Når alle kald passerer samme sted, kan forbruget måles pr. nøgle, bruger, team og model. Det er forudsætningen for at give hvert team et budget og se, når det nærmer sig loftet. Så kan en applikation i en uendelig løkke ikke æde hele månedens kvote uden at nogen opdager det.
Kvoter er et særligt punkt. Bedrock har egne grænser pr. konto og model, og de deles af alle, der bruger kontoen. Uden en gateway kan ét team uforvarende dæmpe et andet. Med interne grænser pr. nøgle kan platformsteamet fordele kapaciteten og give den udvikler, der rammer sin grænse, et tydeligt svar i stedet for en uforklarlig fejl.
For mig er logning det vigtigste. Kan du ikke se, hvad en agent har gjort, har du ikke en medarbejder, du har et ansvar. Gatewayen kan logge hvert kald med bruger, model, tokenforbrug og svartid, så spørgsmålet show me the diff overhovedet kan besvares. Men logning af indhold i prompter og svar kan indeholde personoplysninger og følsomme forretningsdata. Beslut bevidst, om I kun logger metadata, eller om indholdet også gemmes, og hvor længe. Om omkostninger og routing mellem modeller kan du læse mere i [Snowflake Cortex AI Gateway og dynamisk model-routing](/artikler/snowflake-cortex-ai-gateway-dynamisk-model-routing-3x/).
Det skal et dansk team afklare, før gatewayen går i drift
En gateway samler både styring og risiko. Går den ned, går alle applikationer ned med den. Min vurdering er, at den bør køre i flere containere fordelt over flere zoner, og at databasen skal have backup. Beslut på forhånd, hvad applikationerne gør, hvis gatewayen ikke svarer: venter, prøver igen eller falder tilbage på en anden model.
For danske virksomheder kommer spørgsmålet om data. Vælg AWS-region bevidst, find ud af, hvilke modeller der er tilgængelige dér, og om kald kan blive routet til andre regioner. Behandler I personoplysninger, skal databehandleraftaler og dokumentation være på plads, før trafikken flyttes. Tjek, hvordan Bedrock behandler jeres data for den enkelte model, i stedet for at antage det.
Sikkerheden omkring selve gatewayen fortjener opmærksomhed. Hvem må oprette nøgler og ændre budgetter, hvordan opbevares administratornøglen, og hvordan opdateres proxyen? Gatewayen er kritisk infrastruktur og skal have adgangsstyring, opdateringsplan og alarmer på både fejl og usædvanligt forbrug.
Start småt. Lad ét team bruge gatewayen i en afgrænset periode, mål forbrug og fejl, og åbn først derefter for flere. En gateway, der løser et reelt problem for ét team, er et bedre udgangspunkt end en platform, ingen endnu har bedt om.