Kort fortalt

  • 0.7.0 får GPU-mellomlager for eksperter som ligger i systemminnet.
  • Standardporten endres til 9931 utenfor Docker-containeren.
  • Muse Spark Open og Beam kommer i særskilte nattbygg merket som forhåndsutgaver.

Flytter eksperter gjennom et GPU-mellomlager

llama.cpp 0.7.0 legger til et GPU-mellomlager for modelleksperter som ligger i systemminnet. Funksjonen styres med --moe-cache-mib og kan deles over flere GPU-er. Prosjektet oppgir opptil 2,2 ganger raskere dekoding ved ekspertavlasting; KIavisa har ikke gjentatt målingen.

Utgaven legger også til LiliCorr for spekulativ dekoding, MTP for GLM5-Next og støtte for flere beslutningsmodeller. Serveren bruker nå port 9931 som standard i stedet for 8080. Docker-bildene beholder 8080 inne i containeren.

Modellbehandler og egne nattbygg

Nettgrensesnittet får en modellbehandler med søk, filtre, favoritter og valg for lasting, avlasting og sletting. Lagrede øktplasser skal dessuten bevare kontekstkontrollpunkter og tilstanden til hjelpemodellen ved gjenoppretting.

Muse Spark Open med tekst, bilde og lyd kom senere i nattbygget b11671, publisert 16. oktober klokken 00.18 UTC. Beam-støtte fulgte i b11701, publisert 16. oktober klokken 23.20 UTC. Begge er merket som forhåndsutgaver på GitHub. Disse tilskuddene må ikke fremstilles som funksjoner som allerede inngikk i den stabile 0.7.0-utgaven.

Senere forhåndsutgaver fra 19. oktober

Forhåndsutgaven b11738, publisert 19. oktober klokken 16.59.59 UTC, retter serverens ugyldiggjøring av SWA-sjekkpunkter. b11739 fulgte klokken 17.57.49 UTC og legger til filteret unique i Jinja-støtten. Dette er senere nattbygg, ikke funksjoner som her tilskrives den stabile 0.7.0-utgaven.

FORKLARINGSVIDEO · BAKGRUNNSSTOFF

Lokal KI eller sky? Forskjellen forklart

Hva betyr det at en modell kjører lokalt eller i skyen? Vi bruker Ollamas dokumentasjon som eksempel. Dette er bakgrunnsstoff, ikke en nyhet eller en anbefaling av programmet.

Les tekstversjonen

Hva betyr det at en språkmodell kjøres lokalt? Ollamas dokumentasjon beskriver modeller som ligger i datamaskinens systemminne, grafikkminne eller begge deler. Beregningen utføres da på denne maskinen.

Ollama tilbyr også skymodeller. Selskapet opplyser at de ikke ser spørsmål eller data ved lokal kjøring. Ved bruk av skymodeller behandler tjenesten spørsmål og svar. Dette er selskapets egen beskrivelse, ikke en uavhengig personverntest.

Dokumentasjonen beskriver en innstilling som slår av Ollamas skyfunksjoner. Da deaktiveres både skymodeller og nettsøk. Denne forklaringen gjelder Ollama, ikke automatisk alle programmer som bruker lokale modeller.

Kilden til forklaringen er Ollamas offentlige dokumentasjon. KIavisa har ikke uavhengig testet selskapets personvernopplysninger. Videoen er bakgrunnsstoff, ikke en ny lansering eller en anbefaling av tjenesten.

Kildene til videoen

Dette er en forklaring basert på kildene over, ikke en uavhengig test. Vi bruker KI i manusarbeidet. Diagrammene er laget lokalt i EffectCraft, og videoen er redigert i FilmCraft. Syntetisk norsk tale: Microsoft Finn.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra ggml-org/llama.cpp / GitHub, publisert 15. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos ggml-org/llama.cpp / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.