Ragas: mål kvaliteten på KI-svar fra egne dokumenter
Ragas er et Python-verktøy for å evaluere språkmodellapplikasjoner med målbare kriterier og genererte testsett. Det hjelper dere å se om en dokumentchat faktisk blir bedre etter en endring.
Hva er Ragas?
Ragas er et verktøysett for å evaluere og forbedre applikasjoner som bygger på store språkmodeller. README-en trekker fram fire ting: objektive målinger basert både på språkmodeller og på tradisjonelle metoder, automatisk generering av testsett, integrasjon med blant annet LangChain og observasjonsplattformer, og tilbakekobling fra produksjonsdata for løpende forbedring.
Prosjektet ble opprinnelig publisert under navnet explodinggradients på GitHub. Lenkene i denne artikkelen går til den nåværende adressen, vibrantlabsai/ragas.
Hva kan norske bedrifter bruke det til?
Mange som lager en dokumentchat, merker at det er vanskelig å vite om en endring faktisk gjorde svarene bedre. Bytter dere modell, deler dokumentene annerledes eller endrer instruksjonen, kan noen svar bli bedre og andre dårligere. Ragas gir en fast måte å måle dette på.
Et mulig opplegg er å samle et lite sett med spørsmål der fagfolk har godkjent svaret, og kjøre det samme settet etter hver endring. Dette er et forslag til arbeidsmåte. Automatiske mål erstatter ikke fagfolks vurdering, og målinger som bruker en språkmodell som dommer kan selv ta feil. Bruk dem som et varselsystem, ikke som en fasit.
Slik kommer du i gang
- Lag et eget Python-miljø og installer med
pip install ragas. - Hent et ferdig eksempelprosjekt med
ragas quickstart rag_eval, slik README-en viser. - Bytt ut eksempeldataene med 10–20 oppdiktede eller offentlige spørsmål fra deres eget fagområde.
- Kjør evalueringen og lagre resultatet sammen med versjonen av modell og dokumenter.
- Gjør én endring om gangen, kjør på nytt og sammenlign.
Mange av målingene kaller en språkmodell. Sjekk hvilken modell som brukes, hva det koster, og hvor dataene sendes, før dere bruker ekte dokumenter.
Lisens
Repoets LICENSE-fil er Apache License 2.0, en OSI-godkjent åpen kildekodelisens. Språkmodeller og tjenester som brukes under evalueringen, har egne vilkår.
Hvorfor vi skriver om det
Vi følger verktøytypen som ofte diskuteres i KI-miljøer og korte videoer. TikTok-kanaler kan ikke kontrolleres direkte her, og vi hevder derfor ikke at en bestemt kanal har omtalt dette prosjektet. Omtalen bygger på prosjektets egne kilder. Vi har kildekontrollert funksjonene, men ikke kjørt en egen evaluering.
Lenker
Kilder
Opplysningene er hentet fra kildene over 13. november 2026. Lisens, funksjoner og installasjon kan ha endret seg siden.