Kort fortalt

  • Hexagon får omarbeidet vektpakking og flere Q1_0/Q2_0-operasjoner.
  • To bygg fra 19. oktober endrer flash attention for flere strømmer og lengre kontekst.
  • b11702 legger separat til en MxFP4-MoE-kjerne for Adreno X1 i OpenCL.

Vektoppsett og flere regneoperasjoner

llama.cpp har publisert flere forhåndsutgaver med endringer i Hexagon- og Adreno-bakendene. b11680, fra 16. oktober, omarbeider Hexagons tensorpakking og støtte for flate og flisdelte vekter. Endringslisten omfatter k-kvantiserte tensorer og ompakking av todimensjonale F16-, F32- og BF16-vekter.

b11696 fra samme dag retter sinks-håndtering i Hexagons HMX-baserte flash attention. b11703 fra 17. oktober vektoriserer softplus med HVX. Notatet beskriver at vernet for store positive verdier bevares for å samsvare med CPU-referansen, men oppgir ingen målt generell gevinst for modeller.

Q1_0, Q2_0 og oppmerksomhet

b11717, publisert 18. oktober klokken 02.50.12 UTC, følger opp den tidligere Q1_0/Q2_0-støtten med Hadamard-operasjoner og GET_ROWS for både flate og flisdelte tensorer. Dette er oppfølgende funksjoner, ikke den allerede omtalte første støtten for tallformatene i b11716.

b11722 fra 19. oktober tillater multistream flash attention. b11723, publisert klokken 02.06.12 UTC, forbedrer FLASH_ATTN_EXT for lengre kontekst og modeller med glidende oppmerksomhetsvindu, blant annet ved å hoppe over maskerte blokker og redusere DMA-henting.

Separat legger b11702 fra 17. oktober til en MxFP4-MoE-kjerne for Adreno X1-enheter. Adreno-endringen gjelder OpenCL-bakenden, ikke Hexagon. Alle sju bygg er forhåndsutgaver. KIavisa har ikke testet maskinvaren, ytelsen eller prosjektets beregningsrettelser.

FORKLARINGSVIDEO · BAKGRUNNSSTOFF

Lokal KI eller sky? Forskjellen forklart

Hva betyr det at en modell kjører lokalt eller i skyen? Vi bruker Ollamas dokumentasjon som eksempel. Dette er bakgrunnsstoff, ikke en nyhet eller en anbefaling av programmet.

Les tekstversjonen

Hva betyr det at en språkmodell kjøres lokalt? Ollamas dokumentasjon beskriver modeller som ligger i datamaskinens systemminne, grafikkminne eller begge deler. Beregningen utføres da på denne maskinen.

Ollama tilbyr også skymodeller. Selskapet opplyser at de ikke ser spørsmål eller data ved lokal kjøring. Ved bruk av skymodeller behandler tjenesten spørsmål og svar. Dette er selskapets egen beskrivelse, ikke en uavhengig personverntest.

Dokumentasjonen beskriver en innstilling som slår av Ollamas skyfunksjoner. Da deaktiveres både skymodeller og nettsøk. Denne forklaringen gjelder Ollama, ikke automatisk alle programmer som bruker lokale modeller.

Kilden til forklaringen er Ollamas offentlige dokumentasjon. KIavisa har ikke uavhengig testet selskapets personvernopplysninger. Videoen er bakgrunnsstoff, ikke en ny lansering eller en anbefaling av tjenesten.

Kildene til videoen

Dette er en forklaring basert på kildene over, ikke en uavhengig test. Vi bruker KI i manusarbeidet. Diagrammene er laget lokalt i EffectCraft, og videoen er redigert i FilmCraft. Syntetisk norsk tale: Microsoft Finn.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra ggml-org/llama.cpp / GitHub, publisert 19. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos ggml-org/llama.cpp / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.