Google åpner TorchTPU og nye TPU-motorer for vLLM og SGLang

PyTorch får en direkte TPU-vei

Google kunngjorde 20. oktober at TorchTPU er tilgjengelig som åpen kildekode. Programvaren lar PyTorch bruke Googles TPU-er direkte, og er utviklet sammen med PyTorch-teamet hos Meta.

Ifølge Google kan utviklere feilsøke med PyTorchs vanlige kjøremåte og deretter optimalisere kjøringen med torch.compile. Selskapet beskriver støtte i blant annet Hugging Face, TorchTitan og Ray.

Nye motorer for modellservere

Google lanserer samtidig vLLM-TorchTPU, utviklet med Inferact, og SGLang-TorchTPU, utviklet med RadixArk. De skal bruke de eksisterende rammeverkenes arbeidsprosesser, planleggere og API-servere, med TPU-spesifikke beregningsfunksjoner under.

vLLM og SGLang kunne allerede kjøre på TPU gjennom JAX-baserte varianter. Det nye er egne PyTorch-baserte motorer. Google sier at JAX-variantene fortsatt skal vedlikeholdes og støttes.

Gjenbruk av samtalekontekst

De nye motorene beskrives med funksjoner for blant annet mellomlagring av tidligere beregnet samtalekontekst, strukturert utdata og verktøykall. Biblioteket TPU Sync skal flytte og håndtere dette mellomlageret mellom enheter og vertsmaskiner.

Google presenterer også ytelses- og kostnadsresultater for utvalgte oppsett. Disse tallene er ikke kontrollert uavhengig her og er ikke grunnlag for å love samme ytelse for andre modeller eller arbeidsoppgaver.

Samme kunngjøring omfatter llm-d 1.0

Google presenterer også llm-d 1.0, utviklet sammen med Red Hat, IBM og det åpne utviklermiljøet. Programvaren skal fordele modellforespørsler mellom flere maskiner og kan skille behandlingen av inndata fra genereringen av svaret.

Google beskriver 1.0 som klar for produksjonsbruk, med støtte for flere kunder, stabile grensesnitt og ruting som tar hensyn til agentens økt. Dette er utgiverens beskrivelse, ikke en drifts- eller ytelsestest utført av KIavisa.

Flere kilder

• Google Developers – nye vLLM- og SGLang-motorer på TPU ↗