Ollama: kjør store språkmodeller på din egen maskin

Hva er Ollama?

Ollama er et program som laster ned, installerer og kjører store språkmodeller (LLM-er) på din egen datamaskin eller server. I stedet for å sende spørsmål til en skytjeneste, kjører modellen lokalt. Prosjektets egen beskrivelse nevner modellfamilier som Qwen, Gemma, DeepSeek, gpt-oss, GLM og Kimi, og hele listen finnes i modellbiblioteket.

Ollama har også et REST-API på localhost:11434, og offisielle biblioteker for Python og JavaScript. Dermed kan egne programmer, interne verktøy og andre KI-apper bruke modellene uten å endre mye kode.

Hva kan norske bedrifter bruke det til?

• Intern assistent uten datadeling: Når modellen kjører på egen maskin, forlater ikke tekstene bedriften. Det gjør det lettere å bruke KI på kontrakter, kundedata og interne notater.
• Utvikling og testing: Utviklere kan prøve KI-funksjoner lokalt før de velger en betalt skytjeneste.
• Grunnmur for andre verktøy: Grensesnitt som Open WebUI og AnythingLLM kan kobles til Ollama, slik at ansatte får et chatvindu i nettleseren.
• Faste kostnader: Du betaler for maskinvaren, ikke per forespørsel.

Husk at små modeller som kjører på en vanlig bærbar PC, ikke er like sterke som de største skymodellene. Test på egne oppgaver før dere bestemmer dere, og sjekk hvor godt modellen håndterer norsk.

Slik kommer du i gang

På Windows installeres Ollama med denne PowerShell-kommandoen fra README-filen (eller med installasjonsfilen fra nettsiden):

irm https://ollama.com/install.ps1 | iex

På macOS og Linux:

curl -fsSL https://ollama.com/install.sh | sh

Deretter kan du starte en modell og chatte med den direkte i terminalen, for eksempel:

ollama run gemma4

Det finnes også et offisielt Docker-image, ollama/ollama, for drift på server.

Lisens

Ollama er lisensiert under MIT, en svært tillatende lisens som også tillater kommersiell bruk. Merk at modellene du laster ned har egne lisenser. Les lisensen til hver modell før den tas i bruk kommersielt.

Hvorfor vi skriver om det

Lokale KI-verktøy og åpen kildekode er et gjennomgående tema på AI-kanaler som @milesreevesai, @replace.so og @ai.with.andrew på TikTok. Vi kan ikke se videoene direkte, og vi påstår ikke at akkurat dette verktøyet er vist i en bestemt video. Alle fakta i artikkelen er hentet fra prosjektets egen nettside og kildekode, som er lenket under.

Lenker

• Offisiell side: ollama.com
• Kildekode: github.com/ollama/ollama
• Kom i gang: docs.ollama.com/quickstart