KI-agenter · ca. 2 min lesing

Promptfoo: test KI-svarene før de når kundene

Promptfoo er et åpent verktøy for å teste og sammenligne prompter, modeller og KI-agenter. Det kan også lete etter sikkerhetssvakheter i KI-løsninger.

Hva er Promptfoo?

Promptfoo er et kommandolinjeverktøy og et bibliotek for å evaluere og «red-teame» applikasjoner som bygger på store språkmodeller. I stedet for å prøve seg frem med enkeltspørsmål beskriver du testene i en konfigurasjonsfil, og verktøyet kjører dem mot én eller flere modeller. Resultatene kan vises side om side i et nettgrensesnitt.

Ifølge README kan Promptfoo:

  • teste prompter og modeller med automatiske evalueringer
  • sammenligne modeller fra blant annet OpenAI, Anthropic, Azure, Bedrock og Ollama
  • lete etter sårbarheter i KI-løsninger (red teaming)
  • kjøre kontrollene automatisk i CI/CD
  • gå gjennom pull requests for KI-relaterte sikkerhetsproblemer

Prosjektet skriver at evalueringene kjører lokalt, slik at promptene ikke forlater maskinen. Merk at selve modellkallene går til leverandøren du velger, med mindre du bruker en lokal modell. README opplyser også at Promptfoo nå er en del av OpenAI, og at prosjektet fortsatt er åpen kildekode med MIT-lisens.

Hva kan norske bedrifter bruke det til?

  • Kundeservice-bot: Lag en fast liste med typiske kundespørsmål og hva et godt svar må inneholde. Kjør listen hver gang prompten eller modellen endres.
  • Modellvalg: Sammenlign to eller tre modeller på de samme norske eksemplene før dere bestemmer dere.
  • Sikkerhet: Test om en intern assistent kan lures til å avsløre informasjon den ikke skal dele.

Dette er forslag til bruk. Testene blir aldri bedre enn eksemplene dere skriver, og et grønt resultat er ikke en garanti for at alle svar er riktige.

Slik kommer du i gang

  1. Installer Node.js, og installer så verktøyet:
npm install -g promptfoo
promptfoo init --example getting-started
  1. Sett API-nøkkelen til modelleverandøren som en miljøvariabel, for eksempel OPENAI_API_KEY.
  2. Kjør testene med promptfoo eval og se resultatene med promptfoo view.
  3. Bytt ut eksemplene med 10–20 ufarlige, norske spørsmål fra deres egen hverdag.

README nevner også installasjon med brew og pip, og kjøring uten installasjon med npx promptfoo@latest. Ikke bruk ekte kundedata i de første testene.

Lisens

Lisensfilen i repoet er MIT, en OSI-godkjent lisens for åpen kildekode. Lisensen gjelder verktøyet. Bruk av modellene du tester, er regulert av vilkårene til hver leverandør.

Hvorfor vi skriver om det

Vi omtaler verktøyet fordi det dukker opp i samtaler om praktiske KI-verktøy, blant annet på KI-kanaler som @milesreevesai, @replace.so og @ai.with.andrew. TikTok kan ikke leses direkte her, så vi har ikke verifisert at akkurat disse kanalene har omtalt dette verktøyet. Alt i artikkelen bygger på prosjektets egne sider, GitHub-repoet og lisensfilen. Verktøyet er kildekontrollert, men ikke installert eller funksjonstestet i dette oppdraget.

Lenker

Kilder

Opplysningene er hentet fra kildene over 26. oktober 2026. Lisens, funksjoner og installasjon kan ha endret seg siden.

← Alle artikler om åpen kildekode