GPU-kapacitet er den knappeste ressource i de fleste AI-teams, og den
GPU-kapacitet er den knappeste ressource i de fleste AI-teams, og den bliver ofte fordelt på den dårligste måde: med regneark, Slack-beskeder og forhandlinger om, hvem der må starte det næste træningsjob. AWS Batch kan nu styre den fordeling med kvoter, så SageMaker Training-jobs deler en fælles pulje af GPU-instanser efter regler, I selv fastlægger.
GPU-deling
Når tre teams vil have de samme GPU'er
Tag en virksomhed med et team til sprogmodeller, et til billedgenkendelse og et til anbefalingssystemer. Alle tre træner på de samme dyre GPU-instanser, og kapaciteten er købt til ét samlet beløb. Uden fælles styring ender det typisk i to mønstre. Enten reserverer hvert team sin egen kapacitet, og så står en del ubrugt, mens et andet team venter. Eller også kæmper teams om samme pulje, og den, der er hurtigst til at sende jobbet afsted, vinder.
Begge løsninger koster penge. Ubrugt GPU-tid betaler I for uden at få noget igen. Og ventetid på kapacitet forsinker modeller, som forretningen venter på. Det er præcis det problem, AWS Batchs kvotestyring til SageMaker Training går efter.
Kvoter
Kvoteandele giver hvert team sin egen garanterede del
Grundtanken er enkel. I opretter en fælles kapacitetspulje og fordeler den i kvoteandele mellem teams eller projekter. Hver andel er en garanti: Når teamet har brug for sin del, kan det få den, uden at andre kan tage den fra dem.
Det flytter fordelingen af GPU'er fra daglig forhandling til en beslutning, der træffes én gang og kan justeres, når behovene ændrer sig. Teamlederne behøver ikke at spørge hinanden om lov. De sender deres jobs til køen, og Batch holder styr på, hvem der har ret til hvad.
Det største udbytte er efter min vurdering organisatorisk. Når fordelingen er skrevet ned som kvoter, bliver den synlig for ledelsen. Spørgsmålet om, hvor stor en andel af GPU-budgettet det enkelte team skal have, bliver en åben prioritering i stedet for noget, der afgøres af, hvem der råber højest.
Det flytter fordelingen af GPU'er fra daglig forhandling til en beslutning, der træffes én gang og kan justeres, når behovene ændrer sig.
Lån
Ledig kapacitet bliver lånt ud i stedet for at stå stille
En fast garanti alene ville give en ny form for spild, hvis teamet ikke bruger sin andel. Derfor kan ubrugt kapacitet lånes af andre teams. Hvis anbefalingsteamet holder pause, kan sprogmodelteamet bruge de GPU'er, der ellers ville stå tomme, og køre større eller flere eksperimenter.
Lånet er midlertidigt. Når ejeren af kapaciteten igen har brug for den, skal den kunne få den tilbage. Det er den balance, der gør modellen brugbar i praksis: Teams kan stole på deres garanti, og virksomheden udnytter samtidig det, den betaler for.
Tilbage til fredagen: Når det ene team er færdigt og først starter igen mandag, kan andre teams køre lange jobs på den ledige kapacitet hele weekenden. Uden lån havde de GPU'er stået stille i to døgn.
Preemption
Preemption: de vigtigste træningsjobs kommer først
Lån skaber et oplagt spørgsmål: Hvad sker der, når ejeren vil have sin kapacitet tilbage, og lånerens job stadig kører? Her kommer preemption ind. Batch kan afbryde jobs, der kører på lånt kapacitet, så den garanterede andel igen er til rådighed for sin ejer. Prioritering afgør, hvilke jobs der må vige, når der er flere kandidater.
Det stiller krav til, hvordan træningskoden skrives. Et job, der kan blive afbrudt, skal gemme checkpoints løbende og kunne genoptages derfra. Jobs uden checkpoints mister alt, hvad de har beregnet, hvis de bliver preempted. Det er ikke en svaghed ved Batch, men en forudsætning for at låne kapacitet fra andre.
Min anbefaling er at skelne mellem to typer arbejde. Kritiske jobs med fast frist, for eksempel en model der skal i produktion på en bestemt dato, bør ligge i teamets garanterede andel. Eksperimenter, hyperparameter-søgninger og andet, der kan vente eller genstartes, er de oplagte kandidater til lånt kapacitet.
Økonomi
Det betyder det for økonomien i jeres GPU-kapacitet
GPU-instanser til træning hører til de dyreste poster i et AI-budget, så udnyttelsesgraden betyder mere end timeprisen. En pulje, hvor kapaciteten næsten altid er i brug, giver en lavere pris pr. gennemført træningsjob end tre adskilte reservationer, der hver står delvist tomme. Jeg har ikke et tal for, hvor stor forskellen bliver, for den afhænger helt af jeres belastningsmønster.
Kvoter gør også omkostningerne lettere at placere. Når hvert team har en defineret andel, kan I se, hvem der bruger hvor meget, og hvem der låner af andre. Det er et bedre udgangspunkt for intern fordeling af udgifterne end et samlet GPU-beløb, ingen kan forklare.
Husk dog, at deling ikke skaber kapacitet. Hvis summen af jeres behov konstant overstiger det, I har, løser kvoter kun fordelingen af mangel. Så er svaret at købe mere kapacitet eller at prioritere hårdere, ikke at finjustere regler.
Forberedelse
Sådan forbereder I jer, før I deler kapacitet på tværs af teams
Teknikken er den lette del. Det svære er at blive enige om reglerne. Efter min vurdering er der fire ting, der skal på plads, før en delt pulje fungerer.
- **Fordelingsnøglen.** Beslut, hvor stor en andel hvert team får, og hvem der kan ændre den. Hold fordelingen op mod forretningens prioriteter, ikke mod holdenes størrelse. - **Jobklasser.** Definér, hvilke jobs der er kritiske, og hvilke der må afbrydes. Uden den skelnen er prioritering bare et ord. - **Checkpoints.** Gennemgå træningskoden, og sørg for, at alle jobs, der kan køre på lånt kapacitet, kan genoptages efter afbrydelse. - **Måling.** Følg udnyttelse, ventetid og antal preemptions pr. team. Tallene viser hurtigt, om fordelingen passer, eller om et team konstant er presset.
Start gerne med to teams og en begrænset pulje, og udvid, når reglerne har vist sig at holde. Det er langt nemmere at justere en fordeling, der allerede fungerer, end at indføre kvoter for hele organisationen på én gang.