Kort fortalt

  • b11700 legger til Granite Switch-konvertering og beslutningsstøtte i serveren.
  • Et foreslått decision.chat-felt ble reversert før den beskrevne sluttløsningen.
  • b11707 beregner alternativmarkører fra modellens eget ordforråd.

Konvertering og serverstøtte

llama.cpp la til beslutningsstøtte for Granite Switch i forhåndsutgaven b11700, publisert 16. oktober klokken 18.33.07 UTC. Endringslisten omfatter konvertering av modellen og støtte i serveren. Den viser til brukseksemplet for IBM-modellen granite-switch-4.1-8b.

Notatet inneholder også mellomsteg som senere ble trukket tilbake. Innføringen av et eget decision.chat-felt ble reversert, og dokumentasjonen fjernet referansen. Den avsluttende rettingen presiserer i stedet at Granite Switch alltid støtter tekst dersom modellen støtter beslutninger. Dette er derfor ikke grunnlag for å beskrive decision.chat som et nytt tilgjengelig felt.

Modellens egne alternativmarkører

b11707 fulgte 17. oktober klokken 07.50.33 UTC. Konverteringen leter i modellens ordforråd etter markører som består av ett token, og bruker de beregnede etikettene i malen. Markørene kobles til modellens utgangsverdier for svaralternativene.

Notatets overskrift og mellomsteg bruker både 256 og 255 om alternativhåndteringen. KIavisa oppgir derfor ikke et entydig maksimalt antall alternativer fra denne kilden alene. Begge utgavene er merket som forhåndsutgaver, ikke stabile utgaver. Vi har ikke kjørt modellen eller målt beslutningenes treffsikkerhet.

FORKLARINGSVIDEO · BAKGRUNNSSTOFF

Lokal KI eller sky? Forskjellen forklart

Hva betyr det at en modell kjører lokalt eller i skyen? Vi bruker Ollamas dokumentasjon som eksempel. Dette er bakgrunnsstoff, ikke en nyhet eller en anbefaling av programmet.

Les tekstversjonen

Hva betyr det at en språkmodell kjøres lokalt? Ollamas dokumentasjon beskriver modeller som ligger i datamaskinens systemminne, grafikkminne eller begge deler. Beregningen utføres da på denne maskinen.

Ollama tilbyr også skymodeller. Selskapet opplyser at de ikke ser spørsmål eller data ved lokal kjøring. Ved bruk av skymodeller behandler tjenesten spørsmål og svar. Dette er selskapets egen beskrivelse, ikke en uavhengig personverntest.

Dokumentasjonen beskriver en innstilling som slår av Ollamas skyfunksjoner. Da deaktiveres både skymodeller og nettsøk. Denne forklaringen gjelder Ollama, ikke automatisk alle programmer som bruker lokale modeller.

Kilden til forklaringen er Ollamas offentlige dokumentasjon. KIavisa har ikke uavhengig testet selskapets personvernopplysninger. Videoen er bakgrunnsstoff, ikke en ny lansering eller en anbefaling av tjenesten.

Kildene til videoen

Dette er en forklaring basert på kildene over, ikke en uavhengig test. Vi bruker KI i manusarbeidet. Diagrammene er laget lokalt i EffectCraft, og videoen er redigert i FilmCraft. Syntetisk norsk tale: Microsoft Finn.

Flere kilder

Kilder og åpenhet

Sammendraget bygger på opplysninger fra ggml-org/llama.cpp / GitHub, publisert 17. oktober 2026. Les kilden for alle detaljene og eventuelle senere oppdateringer.

Les originalkilden hos ggml-org/llama.cpp / GitHub

Vi har skrevet sammendraget med hjelp fra KI. Vi har ikke selv testet leverandørens påstander eller resultater. Bildet er en illustrasjon, ikke dokumentasjon av produktet eller hendelsen. Slik bruker vi kilder.