llama.cpp: kjør språkmodeller på vanlig maskinvare

Hva er llama.cpp?

llama.cpp er et program for å kjøre store språkmodeller (LLM) og modeller som også forstår bilder (VLM). Det er skrevet i C og C++. README sier at målet er inferens med minimalt oppsett og høy ytelse på mange typer maskinvare, både lokalt og i skyen. Prosjektet bygger på biblioteket ggml.

Noen av punktene prosjektet selv fremhever:

• Ren C/C++ uten eksterne avhengigheter
• Kvantisering fra 1,5 til 8 bit, som gir raskere kjøring og mindre minnebruk
• Støtte for Apple Silicon, vanlige x86-prosessorer, NVIDIA-kort via CUDA, AMD via HIP, Vulkan og flere andre
• Kan dele modellen mellom prosessor og grafikkort, slik at modeller som er større enn grafikkminnet, likevel kan kjøres

Med llama serve får du en server med en API som er kompatibel med OpenAI, og et innebygd nettgrensesnitt. Mange andre lokale KI-verktøy bygger på llama.cpp eller bruker samme modellformat (GGUF).

Hva kan norske bedrifter bruke det til?

• Intern KI-chat uten skytjeneste: Kjør en åpen modell på en egen server når dataene ikke bør sendes ut av huset.
• Prøve modeller billig: Test små modeller på en vanlig bærbar PC før dere kjøper maskinvare eller skytjenester.
• Bytte ut en sky-API i egne verktøy: Programmer som kan snakke med en OpenAI-kompatibel API, kan i mange tilfeller pekes mot en lokal llama-server i stedet.

Husk at kvaliteten avhenger av modellen dere velger. Små modeller er raske, men gjør flere feil, særlig på norsk. Test alltid med egne, realistiske oppgaver.

Slik kommer du i gang

README viser flere måter å installere på: et installasjonsskript fra llama.app (også for PowerShell), ferdige filer fra releases-siden, Docker eller bygging fra kildekoden. Deretter kan du hente en modell fra Hugging Face og starte den direkte:

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Den første kommandoen gir en chat i terminalen. Den andre starter API-serveren med nettgrensesnitt. Begynn med en liten modell, og gå opp i størrelse når du vet hva maskinen klarer. Les serverdokumentasjonen før serveren gjøres tilgjengelig for andre enn deg selv.

Lisens

llama.cpp er utgitt under MIT-lisensen, slik lisensfilen i repoet viser. Det er en OSI-godkjent og svært tillatende lisens. Merk at selve språkmodellene har egne lisenser, og de må sjekkes hver for seg før bruk i bedriften.

Hvorfor vi skriver om det

llama.cpp er en av byggesteinene under lokal KI, og mange av verktøyene vi allerede har skrevet om, er avhengige av slike motorer. KI-kanaler på TikTok kan gi ideer, men TikTok er ikke lest direkte, og vi har ikke verifisert omtale hos bestemte skapere. Funksjoner og lisens er kontrollert mot prosjektets egne sider og GitHub-repo. Brukseksemplene over er forslag, ikke målte resultater fra norske bedrifter.

Lenker

• Offisiell side
• Kildekode og README
• Dokumentasjon for llama-server
• Lisensfil