Kort fortalt

  • Apple Silicon støttes nå også gjennom den vanlige PyTorch-motoren.
  • SGLang Diffusion utvider integrasjonen med ComfyUI.
  • En feil ved kombinasjonen spekulativ dekoding og strukturerte svar rettes.

Flere kjøremiljøer

SGLang 0.5.22 ble publisert 19. oktober klokken 02.55 UTC. Prosjektet oppgir at programvaren nå kan kjøres på Apple Silicon-maskiner med den vanlige PyTorch-motoren, i tillegg til MLX. Utgaven krever Python 3.11 eller nyere.

Bilde- og videodelen SGLang Diffusion får integrert ComfyUI-kjøring for MiniMax-H3 og Qwen-Image 2.1. Den kan også laste fellesskapets GGUF-kontrollpunkter og LoRA-tilpasninger. Versjonsnotatet skiller dermed kjøreverktøyenes nye støtte fra selve modellenes tidligere eller separate utgivelser.

Retter feil i videreføring av modelltilstand

Utviklerne fremhever en feil der hybride lineære modeller kunne fortsette fra feil Mamba-tilstand når spekulativ dekoding ble brukt sammen med strukturerte svar. Dette er en rettelse som gjelder beregningsforløpet, ikke bare grensesnittet.

Utgaven støtter også Clef og Clef Flash samt Perplexitys PPLX-Decider v1 og v1.1. Prosjektet rapporterer høyere gjennomstrømming for blant annet DeepSeek-V4.1 på bestemte NVIDIA- og AMD-oppsett. Tallene i notatet er utviklernes oppgitte sammenligninger. KIavisa har ikke gjentatt ytelsesforsøkene eller testet de nye måtene å kjøre lokale og multimodale modeller på.

FORKLARINGSVIDEO · BAKGRUNNSSTOFF

Lokal KI eller sky? Forskjellen forklart

Hva betyr det at en modell kjører lokalt eller i skyen? Vi bruker Ollamas dokumentasjon som eksempel. Dette er bakgrunnsstoff, ikke en nyhet eller en anbefaling av programmet.

Les tekstversjonen

Hva betyr det at en språkmodell kjøres lokalt? Ollamas dokumentasjon beskriver modeller som ligger i datamaskinens systemminne, grafikkminne eller begge deler. Beregningen utføres da på denne maskinen.

Ollama tilbyr også skymodeller. Selskapet opplyser at de ikke ser spørsmål eller data ved lokal kjøring. Ved bruk av skymodeller behandler tjenesten spørsmål og svar. Dette er selskapets egen beskrivelse, ikke en uavhengig personverntest.

Dokumentasjonen beskriver en innstilling som slår av Ollamas skyfunksjoner. Da deaktiveres både skymodeller og nettsøk. Denne forklaringen gjelder Ollama, ikke automatisk alle programmer som bruker lokale modeller.

Kilden til forklaringen er Ollamas offentlige dokumentasjon. KIavisa har ikke uavhengig testet selskapets personvernopplysninger. Videoen er bakgrunnsstoff, ikke en ny lansering eller en anbefaling av tjenesten.

Kildene til videoen

Dette er en forklaring basert på kildene over, ikke en uavhengig test. Vi bruker KI i manusarbeidet. Diagrammene er laget lokalt i EffectCraft, og videoen er redigert i FilmCraft. Syntetisk norsk tale: Microsoft Finn.

Kilder og åpenhet

Sammendraget bygger på opplysninger fra sgl-project/sglang / GitHub, publisert 19. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos sgl-project/sglang / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.