SINTEF Energi tar i bruk lokal KI-maskin til energiforskning

Du skriver «Forklar nordlys» og trykker Send. Et svar dukker opp i et tekstfelt. Men tekstfeltet forteller ikke hvor beregningene skjedde. Modellen kan ha kjørt på datamaskinen foran deg, eller på en server et annet sted. Vi følger de to veiene og ser hvorfor et lokalt program ikke nødvendigvis betyr at alt skjer uten nett.

Først skiller vi mellom appen, modellen og verktøyene. Appen tar imot meldingen og viser svaret. Modellen utfører beregningene som lager tekst. Et verktøy kan hente opplysninger eller utføre en annen funksjon. Disse delene kan være koblet sammen, men de trenger ikke befinne seg på samme sted. Det er avgjørende for å forstå hva «lokalt» beskriver.

Ved lokal modellkjøring skjer selve modellberegningen på din maskin. Ollamas dokumentasjon beskriver modeller som er lastet i systemminnet, i grafikkminnet eller fordelt mellom dem. Programmet bruker da maskinens egne prosessorressurser. Det er denne beregningen vi mener når vi sier at modellen kjører lokalt, ikke et løfte om hvordan alle andre deler av appen virker.

Med en skymodell sendes forespørselen til en ekstern tjeneste som utfører modellberegningen. Svaret kommer tilbake til appen. Ollama tilbyr også denne typen modeller. Selskapet opplyser at spørsmål og svar behandles når skymodellene brukes. Dermed er sky og lokal kjøring to forskjellige behandlingsmåter, selv om brukeren kan møte dem gjennom samme program.

Her oppstår en vanlig begrepsfelle: Et installert program kan bruke både lokale modeller og skymodeller. At et vindu åpnes på datamaskinen, sier derfor ikke hvor modellen kjører. I Ollamas tilfelle finnes begge mulighetene. Det konkrete modellvalget og oppsettet bestemmer hvilken av de to veiene forespørselen følger.

Også lokal kjøring kan ha nettbruk rundt seg. Modellfiler må først være tilgjengelige på maskinen. Ollamas dokumentasjon beskriver nedlasting av modeller fra internett. Den beskriver også automatiske programoppdateringer på Windows og Mac. Nedlasting og oppdatering er andre aktiviteter enn selve modellberegningen. «Lokalt» og «frakoblet» er derfor ikke to ord for nøyaktig det samme.

Så kommer verktøyene. Ollamas dokumentasjon viser at en modell kan be om en funksjon. Programkoden utfører funksjonen og sender resultatet tilbake til modellen, som kan bruke det i svaret. Modellen formulerer altså et verktøykall; programmet rundt utfører handlingen. Hvor denne handlingen skjer, er et eget spørsmål, forskjellig fra hvor modellen kjører.

Tenk at en app kobler en lokal modell til et nettsøk. Da kan modellberegningen være lokal, mens søket henter informasjon utenfra. Det er et skjematisk eksempel, ikke en gjennomført test. Det viser hvorfor forbindelsen til verktøyene må beskrives separat. En lokal modell gjør ikke automatisk søket eller resten av appen til en frakoblet løsning.

Ollama opplyser at selskapet ikke ser spørsmål eller data ved lokal kjøring. Dette er leverandørens egen beskrivelse. KIavisa har ikke etterprøvd den med en uavhengig personverntest. Opplysningen beskriver heller ikke automatisk en annen app som kobles til Ollama. En påstand om modellen kan derfor ikke uten videre utvides til hele programoppsettet.

Dokumentasjonen beskriver også en lokalmodus der Ollamas skyfunksjoner deaktiveres. Da blir både Ollamas skymodeller og nettsøk utilgjengelige. Innstillingen gjelder Ollamas egne skyfunksjoner. Den er ikke dokumentasjon på at alle programmer på maskinen mister nettilgangen, eller at en annen app slutter å kontakte sine tjenester. Omfanget er viktigere enn selve merkelappen «lokalmodus».

Vi kan nå beskrive oppsettet med tre spørsmål. Hvor kjører modellen? Hvilke eksterne tjenester bruker appen? Og hvilke handlinger utfører verktøyene? Svarene gjelder forskjellige deler av samme system. Først når disse delene er skilt fra hverandre, blir forskjellen mellom lokal beregning, skybehandling og annen nettbruk tydelig.

Tilbake ved tekstfeltet ser svaret kanskje likt ut. Forskjellen ligger i reisen bak det. Lokal modellkjøring betyr at modellberegningen skjer på maskinen. Skykjøring flytter den til en ekstern tjeneste. App og verktøy kan ha egne forbindelser i tillegg. Dette er bakgrunnsstoff fra offentlig dokumentasjon, ikke en produktanbefaling. Kilder og full tekst følger videoen.