PrivateGPT: API for private KI-apper på lokale modeller
PrivateGPT er et åpent API-lag som gjør lokale språkmodeller om til KI-apper med dokumentsøk, kildehenvisninger og verktøy, uten å være avhengig av skytjenester.
Hva er PrivateGPT?
PrivateGPT er et API som ligger mellom appene deres og en språkmodell som kjører lokalt. README er tydelig på at PrivateGPT ikke kjører modellene selv. Det kobler seg til en tjener som følger OpenAI-formatet, for eksempel Ollama, llama.cpp eller vLLM.
Oppå modellen gir PrivateGPT blant annet et meldings-API med strømming, opplasting av filer, søk i dokumenter med kildehenvisninger, egne verktøy og MCP-koblinger, og strukturert tilgang til databaser og CSV-filer. Ifølge README følger API-et samme modell som Claude API-et fra Anthropic. Det følger med et enkelt nettgrensesnitt på /ui for testing og demo, men prosjektet sier at API-et er selve produktet. PrivateGPT driver også Zylon, en kommersiell plattform for KI på egne servere.
Hva kan norske bedrifter bruke det til?
PrivateGPT passer når data ikke skal forlate egne maskiner. Noen forslag:
- Et internt spørsmål-og-svar-verktøy over rutiner og avtaler, med kilde til hvert svar.
- En pilot for en avdeling som jobber med sensitive dokumenter.
- En felles backend som flere interne apper kan bruke.
Lokal drift gir kontroll over dataene, men ikke automatisk riktige svar. Test med egne spørsmål og sjekk kildene som oppgis.
Slik kommer du i gang
- Start en lokal modelltjener. README anbefaler Ollama som enkleste start.
- Installer PrivateGPT. På Windows skjer det med verktøyet
uv, slik hurtigstarten viser. - Sett miljøvariablene
OPENAI_API_BASEogOPENAI_EMBEDDING_API_BASEslik at de peker til modelltjeneren. - Kjør
private-gpt serveog åpnhttp://localhost:8080/ui. - Last opp noen ufølsomme testdokumenter og still spørsmål.
Merk at eksempelmodellen i README krever mye minne (rundt 24 GB). Velg en mindre modell hvis maskinen er beskjeden.
Lisens
PrivateGPT er utgitt under Apache License 2.0, slik LICENSE-fila viser. Det er en OSI-godkjent åpen kildekodelisens. Zylon er et eget, kommersielt produkt, og modellene dere bruker, har egne vilkår.
Hvorfor vi skriver om det
Mange norske bedrifter vil prøve KI på egne dokumenter uten å sende dem ut av huset. PrivateGPT er et godt dokumentert utgangspunkt for det. TikTok-kanaler som @milesreevesai, @replace.so og @ai.with.andrew er inspirasjon for temavalget, men vi har ikke verifisert et konkret innlegg om PrivateGPT. TikTok kan ikke leses direkte, så opplysningene bygger på prosjektets egne kilder.
Lenker
Kilder
Opplysningene er hentet fra kildene over 30. oktober 2026. Lisens, funksjoner og installasjon kan ha endret seg siden.