Jan: KI-assistent på din egen PC, også uten nett

Hva er Jan?

Jan er et skrivebordsprogram som lar deg chatte med språkmodeller på din egen maskin. Prosjektet beskriver seg som et alternativ til ChatGPT med åpen kildekode, som kan kjøre helt offline. Du installerer Jan som et vanlig program, laster ned en modell og begynner å skrive. Det er ingen kommandolinje og ingen server å sette opp.

Dette trekker README frem:

• Lokale modeller: Last ned og kjør modeller som Llama, Gemma, Qwen og gpt-oss fra Hugging Face
• Skymodeller ved behov: Koble til blant annet OpenAI, Anthropic, Mistral og Groq
• Egne assistenter til bestemte oppgaver
• Lokalt API på localhost:1337 som er kompatibelt med OpenAI, slik at andre programmer kan bruke modellene
• MCP-støtte for verktøy og agenter
• Personvern først: Alt kan kjøres lokalt når du ønsker det

Hva kan norske bedrifter bruke det til?

• KI uten at teksten forlater PC-en: Oppsummer, omformuler og lag utkast med en lokal modell når innholdet er fortrolig.
• Prøve lokal KI uten IT-prosjekt: Jan er en enkel måte å finne ut om lokale modeller er gode nok før dere vurderer en felles server.
• Lokalt API for utviklere: Test integrasjoner mot en lokal modell før dere betaler for skytjenester.

Lokale modeller er mindre enn de største skymodellene og kan gjøre flere feil. Kontroller svarene, særlig fakta og tall.

Slik kommer du i gang

Last ned Jan fra jan.ai eller fra GitHub Releases. Det finnes versjoner for Windows, macOS og Linux. Velg en modell i programmet og la den laste ned.

README oppgir disse minstekravene:

• macOS: 13.6 eller nyere. Omtrent 8 GB minne for 3B-modeller, 16 GB for 7B og 32 GB for 13B.
• Windows: 10 eller nyere, med støtte for skjermkort fra NVIDIA, AMD og Intel Arc
• Linux: De fleste distribusjoner, med mulighet for skjermkortakselerasjon

Start med en liten modell hvis maskinen har lite minne.

Lisens

Jan er lisensiert under Apache 2.0. Det er en OSI-godkjent lisens som tillater kommersiell bruk og endring. Lisensfilen ber i tillegg om at Jan krediteres i dokumentasjon og materiell der det passer. Modellene du laster ned, har egne lisenser som du må sjekke hver for seg.

Hvorfor vi skriver om det

Lokal KI på egen maskin er et gjennomgående tema på AI-kanaler som @milesreevesai, @replace.so og @ai.with.andrew på TikTok. Vi kan ikke se videoene direkte, og vi påstår ikke at akkurat dette verktøyet er vist i en bestemt video. Alle fakta i artikkelen er hentet fra prosjektets egen nettside og kildekode, som er lenket under.

Lenker

• Offisiell side: jan.ai
• Kildekode: github.com/janhq/jan
• Dokumentasjon: docs.jan.ai