Kort fortalt

  • Nattbyggene endrer CUDA- og Vulkan-minnehåndtering og retter SYCL-feil.
  • b11720 utvider SUM til ikke-sammenhengende visninger på fire bakender.
  • b11724 retter en kappløpsfeil i CUDA-basert flash attention.

Minnehåndtering og SYCL

Flere llama.cpp-forhåndsutgaver fra 16.–19. oktober retter minne- og beregningsproblemer etter den stabile 0.7.0-utgaven. b11678 fra 16. oktober setter en øvre grense på 4 GB for en CUDA pinned host-buffer. b11683 endrer Vulkan-håndtering av vertsminne som er synlig for GPU-en.

Vulkan-notatet utelukker MoltenVK fra import av delt minne og slår av deling av vertsminnebuffer på AMD på grunn av et oppgitt amdgpu-ytelsesproblem. Dette er prosjektets begrunnelse, ikke en uavhengig måling fra KIavisa.

b11693 fra 16. oktober retter minnefeil i SYCL-operasjonen mul_mat, delte buffere og vertens bufferlager. b11706 fra 17. oktober retter en regresjon i promptbehandling etter omordning av Q4_0/Q8_0-vekter. b11718 fra 18. oktober gjeninnfører ESIMD-kjerner i FFN-banen og utvider ESIMD-fusjon til Q8_0.

Tensorvisninger og CUDA-synkronisering

b11720, publisert 18. oktober klokken 17.36.42 UTC, legger til SUM-støtte for ikke-sammenhengende tensorvisninger på CPU, CUDA, Vulkan og WebGPU. Endringslisten inkluderer også tester for slike visninger.

b11724 fulgte 19. oktober klokken 05.44.32 UTC med en retting av en write-after-read-kappløpsfeil i delt minne i CUDA-funksjonen flash_attn_ext_vec. Alle sju omtalte bygg er merket som forhåndsutgaver på GitHub. KIavisa har lest versjonsnotatene, men har ikke kjørt regresjonstestene eller målt virkningen på modeller og maskinvare.

OpenCL-tillegg 19. oktober

Forhåndsutgaven b11740 kom 19. oktober klokken 19.58.50 UTC. Den legger til OpenCL-støtte for GET_ROWS med i32 og kopieringskonverteringer for i32 og f32, ifølge versjonsnotatet. Dette er en programvareendring; notatet oppgir ingen målt ytelsesgevinst for disse operasjonene.

FORKLARINGSVIDEO · BAKGRUNNSSTOFF

Lokal KI eller sky? Forskjellen forklart

Hva betyr det at en modell kjører lokalt eller i skyen? Vi bruker Ollamas dokumentasjon som eksempel. Dette er bakgrunnsstoff, ikke en nyhet eller en anbefaling av programmet.

Les tekstversjonen

Hva betyr det at en språkmodell kjøres lokalt? Ollamas dokumentasjon beskriver modeller som ligger i datamaskinens systemminne, grafikkminne eller begge deler. Beregningen utføres da på denne maskinen.

Ollama tilbyr også skymodeller. Selskapet opplyser at de ikke ser spørsmål eller data ved lokal kjøring. Ved bruk av skymodeller behandler tjenesten spørsmål og svar. Dette er selskapets egen beskrivelse, ikke en uavhengig personverntest.

Dokumentasjonen beskriver en innstilling som slår av Ollamas skyfunksjoner. Da deaktiveres både skymodeller og nettsøk. Denne forklaringen gjelder Ollama, ikke automatisk alle programmer som bruker lokale modeller.

Kilden til forklaringen er Ollamas offentlige dokumentasjon. KIavisa har ikke uavhengig testet selskapets personvernopplysninger. Videoen er bakgrunnsstoff, ikke en ny lansering eller en anbefaling av tjenesten.

Kildene til videoen

Dette er en forklaring basert på kildene over, ikke en uavhengig test. Vi bruker KI i manusarbeidet. Diagrammene er laget lokalt i EffectCraft, og videoen er redigert i FilmCraft. Syntetisk norsk tale: Microsoft Finn.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra ggml-org/llama.cpp / GitHub, publisert 19. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos ggml-org/llama.cpp / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.