Hurtig sessionsstart på Bedrock AgentCore runtime

I AgentCore runtime V2 starter en session ved, at et øjebliksbillede

I AgentCore runtime V2 starter en session ved, at et øjebliksbillede af miljøet gendannes, i stedet for at containeren bootes og initialiseres forfra. Opstartstiden hænger derfor ikke længere sammen med, hvor stort dit billede er, men med hvad din agent skal gøre, før den kan svare. Det flytter arbejdet for dig som udvikler: Den vigtigste opgave er at beslutte, hvad der skal ligge i snapshottet, og hvad der ikke skal.

Sådan starter en session i runtime V2

I en klassisk containeropstart skal hver ny session igennem de samme trin. Processen starter, biblioteker indlæses, konfiguration læses, klienter oprettes, og først derefter kan den første anmodning behandles. Jo flere afhængigheder agenten har, jo længere tager det.

Med snapshot-modellen er det trin, der gentages, gendannelsen og ikke initialiseringen. Miljøet er allerede varmet op, da billedet blev taget, og sessionen fortsætter derfra. Det forklarer, hvorfor billedets størrelse betyder mindre for starttiden. Konsekvensen er til at regne ud. Alt, der sker før snapshottet, følger med ind i hver session. Alt, der sker efter, skal betales i tid hver gang.

De fire mønstre herunder følger af den ene idé: Gør så meget som muligt, før billedet fryses, og så lidt som muligt, når brugeren venter.

Mål starttiden, før du optimerer

Optimering uden måling ender hurtigt som gætværk. Del tiden fra sessionens oprettelse til det første svar op i nogle få led: Gendannelse af miljøet, din egen opstartskode, den første anmodnings behandling og modelkaldet. Log et tidsstempel ved hvert led, og kør målingen mange gange, så du ser spredningen og ikke kun et enkelt heldigt tal.

Hold ny session og genbrugt session adskilt i målingerne. En session, der genbruges, fortæller intet om, hvor lang tid en ny bruger venter. Se også på de langsomste starter og ikke kun gennemsnittet. Det er dem, brugerne husker.

Når du kender fordelingen, ved du, hvilket mønster der giver mest. Jeg ville gætte på, at det ofte ikke er modelkaldet, der æder tiden, men noget, der først sker ved den første anmodning. Det er dog netop derfor, du skal måle.

Mønster 1: Flyt initialisering ind i snapshottet

Det mest oplagte greb er at udføre dyr initialisering, før snapshottet tages. Indlæsning af biblioteker, opbygning af værktøjsregistre og parsing af store konfigurationsfiler hører hjemme her. Resultatet gendannes sammen med resten af miljøet og koster ikke tid pr. session.

Det kræver, at du skiller opstartskoden tydeligt fra anmodningskoden. Saml alt, der er ens for alle sessioner, i én initialiseringsfase. Hold den fri for noget, der afhænger af en bestemt bruger. Min egen forsigtige slutning er, at brugerdata aldrig bør ende i et snapshot, for så kan de i værste fald følge med ind i andre sessioner. Det er en grænse, jeg ville trække, før jeg ville optimere noget som helst.

Jeg ville også være varsom med værdier som tilfældige seeds og tidsstempler. Jeg har ikke set AWS beskrive det, men hvis de bliver oprettet under initialiseringen, er det rimeligt at forvente, at de er ens i alle sessioner fra samme billede. Hent dem hellere, når sessionen er i gang.

Mønster 2: Hold den første anmodning let

Selv med et varmt snapshot kan den første anmodning blive dyr, hvis den udløser arbejde, som ikke blev gjort på forhånd. Typiske kandidater er lazy-indlæsning af moduler, en klient, der først ved første kald opretter sin forbindelsespulje, og caching, der kun sker ved første brug.

Gennemgå den første anmodnings vej trin for trin og spørg ved hvert trin, om det kunne være sket før snapshottet. Det, der kan, flyttes til initialiseringsfasen. Det, der ikke kan, skal holdes så småt som muligt. Hold også prompten og værktøjsbeskrivelserne i første tur nøgterne. Hvert ekstra stykke kontekst gør modelkaldet langsommere og dyrere, og det er sjældent nødvendigt at sende hele værktøjskataloget med, før brugeren har sagt, hvad vedkommende vil.

Mønster 3: Forbered afhængigheder og forbindelser på forhånd

Pakker, modelfiler og statiske data kan med fordel ligge færdigt installeret i billedet. Det samme gælder opslagstabeller og skemaer, som agenten altid bruger.

Forbindelser er sværere, og her er det min egen forsigtige antagelse og ikke noget, jeg kan henvise til AWS for. En åben netværksforbindelse fra før snapshottet er næppe pålidelig efter en gendannelse, og korte legitimationer kan være udløbet. Jeg ville derfor lade snapshottet indeholde klienterne, men forvente at skulle genoprette forbindelserne og forny legitimationerne bagefter. Byg det som en bevidst, hurtig rutine og ikke som en fejlhåndtering, der først rammer, når det første kald fejler.

En tommelfingerregel, jeg selv bruger: Alt, der peger ud af maskinen, skal valideres ved sessionens start. Det gælder databaser, API-nøgler og forbindelser til værktøjsservere. Test dem med et let kald, og opret dem igen, hvis de er døde.

Mønster 4: Udskyd det, der ikke skal bruges med det samme

Ikke alt hører hjemme i snapshottet. Hvis en agent har tyve værktøjer, men de fleste samtaler kun bruger to, er det spild at indlæse og forbinde alle tyve ved start. Det gælder også store modeller, tunge analysebiblioteker og forbindelser til sjældent brugte systemer.

Udskyd dem, til der er brug for dem. Det giver lidt ekstra ventetid i de sjældne tilfælde og holder den almindelige sti kort. Afvejningen er enkel. Er noget nødvendigt i langt de fleste sessioner, hører det til i snapshottet. Er det sjældent, hører det til efter behov.

Jeg ville også passe på ikke at proppe snapshottet med data, som kun få sessioner bruger. Et større billede kan gøre gendannelsen tungere, og det er den, alle sessioner betaler for.

Når opstarten er billig, kan sessionerne blive korte

Hurtig sessionsstart ændrer, hvordan man kan designe agenter. Når en ny session ikke længere er en dyr beslutning, kan du give hver bruger, hver opgave eller hver samtale sin egen session i stedet for at holde dem i live og dele dem. Det giver en renere adskillelse mellem brugere og gør det lettere at gennemskue, hvad en session indeholder.

I praksis bliver opstartstid en kvalitet, du kan måle og følge, ligesom svartid. Sæt et mål for tiden til første svar, følg det ved hver ny version af agenten, og lad en regression i opstartstiden stoppe en udrulning på linje med en fejlende test. Så forsvinder den hurtige start ikke langsomt, efterhånden som koden vokser.

01 / 01

Et øjeblik…

Henter spørgsmål…

1 / 4

Vælg ydelse

Henter ydelser…