Kort fortalt

  • 1-bits affin kvantisering er lagt til for Metal.
  • Python 3.15 og 3.15t får støtte.
  • MLX-biblioteket må skilles fra modellverktøyet MLX-LM.

Nytt format i beregningsbiblioteket

MLX 0.32.4 ble publisert 14. oktober klokken 23.37 UTC. Versjonsnotatet fører opp støtte for 1-bits affin kvantisering på Metal. Dette er støtte i beregningsbiblioteket, ikke en samtidig utgivelse av en bestemt språkmodell med 1-bits vekter.

Utgaven legger dessuten til støtte for Python 3.15 og 3.15t. Flere endringer gjelder automatisk derivasjon, blant annet VJP for scaled dot-product attention og gated delta net. Disse tilleggene er separate fra modellstøtten som publiseres i MLX-LM.

Endringer i GPU-arbeid og lydoperasjoner

Notatet beskriver forbedret Metal-minnebruk for en bestemt SDPA-beregning på maskiner før M5-generasjonen. Andre punkter gjelder CUDA-beregninger og en rettelse av en Metal fence-vranglås. Det gis ikke én samlet hastighets- eller minnegevinst som gjelder alle modeller og maskiner.

Biblioteket får også stft og istft i mlx.core.fft, og nye byggefunksjoner for Metal-utvidelser. Funksjonslisten og rettelsene er prosjektets egne opplysninger. KIavisa har ikke kvantisert en modell med det nye formatet, prøvd Python-versjonene eller gjentatt utviklernes maskinvaretester.

FORKLARINGSVIDEO · BAKGRUNNSSTOFF

Lokal KI eller sky? Forskjellen forklart

Hva betyr det at en modell kjører lokalt eller i skyen? Vi bruker Ollamas dokumentasjon som eksempel. Dette er bakgrunnsstoff, ikke en nyhet eller en anbefaling av programmet.

Les tekstversjonen

Hva betyr det at en språkmodell kjøres lokalt? Ollamas dokumentasjon beskriver modeller som ligger i datamaskinens systemminne, grafikkminne eller begge deler. Beregningen utføres da på denne maskinen.

Ollama tilbyr også skymodeller. Selskapet opplyser at de ikke ser spørsmål eller data ved lokal kjøring. Ved bruk av skymodeller behandler tjenesten spørsmål og svar. Dette er selskapets egen beskrivelse, ikke en uavhengig personverntest.

Dokumentasjonen beskriver en innstilling som slår av Ollamas skyfunksjoner. Da deaktiveres både skymodeller og nettsøk. Denne forklaringen gjelder Ollama, ikke automatisk alle programmer som bruker lokale modeller.

Kilden til forklaringen er Ollamas offentlige dokumentasjon. KIavisa har ikke uavhengig testet selskapets personvernopplysninger. Videoen er bakgrunnsstoff, ikke en ny lansering eller en anbefaling av tjenesten.

Kildene til videoen

Dette er en forklaring basert på kildene over, ikke en uavhengig test. Vi bruker KI i manusarbeidet. Diagrammene er laget lokalt i EffectCraft, og videoen er redigert i FilmCraft. Syntetisk norsk tale: Microsoft Finn.

Kilder og åpenhet

Sammendraget bygger på opplysninger fra ml-explore/mlx / GitHub, publisert 15. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos ml-explore/mlx / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.