Lokale språkmodeller · ca. 2 min lesing

Unsloth: kjør og finjuster språkmodeller lokalt

Unsloth er et prosjekt for å kjøre og trene KI-modeller på egen maskin, med skrivebordsapp, nettgrensesnitt og Python-bibliotek. Kjernen er Apache 2.0, mens Studio-grensesnittet er AGPL-3.0.

Hva er Unsloth?

Unsloth er et prosjekt for å kjøre og trene språkmodeller og andre KI-modeller lokalt. README beskriver tre måter å bruke det på: Unsloth Desktop (en skrivebordsapp), Unsloth Studio (et nettgrensesnitt) og Unsloth Core (det kodebaserte Python-biblioteket).

Prosjektet oppgir støtte for Windows, Linux, WSL og macOS, og for skjermkort fra NVIDIA, AMD og Intel i tillegg til CPU. Til trening nevner README blant annet LoRA, QLoRA, full finjustering og forsterkende læring. Ferdige modeller kan eksporteres til formater som GGUF. Prosjektet oppgir selv at treningen går omtrent dobbelt så raskt med opptil 70 % mindre skjermkortminne. Det er prosjektets egne tall, og vi har ikke målt dem.

Unsloth kan også tilby modellene gjennom et OpenAI-kompatibelt API, slik at andre programmer på maskinen kan bruke dem.

Hva kan norske bedrifter bruke det til?

En bedrift med mange like henvendelser kan prøve å finjustere en liten åpen modell på egne, anonymiserte eksempler, slik at den svarer i bedriftens tone og format. Fordi treningen skjer lokalt, trenger ikke treningsdataene å sendes til en ekstern tjeneste.

Et analyseteam kan også bruke Unsloth bare til å kjøre ferdige modeller lokalt og koble dem til egne verktøy via API-et. Finjustering krever likevel gode eksempler og en plan for testing; en modell blir ikke bedre av dårlige data.

Slik kommer du i gang

Den enkleste veien ifølge README er å laste ned Unsloth Desktop fra GitHub Releases eller unsloth.ai. Installasjonsskriptene for Studio hentes fra nettet og kjøres direkte, så les gjennom skriptet før du kjører det på en arbeidsmaskin. Kodebrukere installerer Unsloth Core med uv pip install unsloth i et eget virtuelt miljø.

Begynn med å kjøre en liten ferdig modell, og prøv finjustering først når dere har et tydelig mål og et testsett. Merk advarselen i README: verktøyene på serversiden er på som standard. Ikke gjør Studio tilgjengelig på nettverket uten et sterkt passord, og vurder --disable-tools. Sjekk lisensen til hver modell før bruk.

Lisens

Unsloth har to lisenser. Kjernepakken er utgitt under Apache License 2.0. Ifølge LICENSE-filen er filene under studio/ og unsloth_cli/, som er valgfrie å installere, lisensiert under AGPL-3.0. Begge er OSI-godkjente åpen kildekode-lisenser, men AGPL-3.0 stiller krav om å dele kildekoden hvis dere endrer programmet og gjør det tilgjengelig for andre over nettverk. Avklar dette før Studio brukes i en tjeneste for kunder. Modellene har egne lisenser.

Hvorfor vi skriver om det

Vi skriver om praktiske åpne KI-verktøy som norske bedrifter kan prøve selv. TikTok kan ikke leses direkte her, og vi har ikke bekreftet omtale på bestemte KI-kanaler. Funksjonene er kontrollert mot prosjektets egne kilder; brukseksemplene er våre forslag til utprøving.

Lenker

Kilder

Opplysningene er hentet fra kildene over 15. november 2026. Lisens, funksjoner og installasjon kan ha endret seg siden.

← Alle artikler om åpen kildekode