Datasets: klargjør treningsdata med faste steg
Datasets samler innlasting og bearbeiding av data til KI-forsøk i Python. Begynn med egne, små testfiler og et tydelig skille mellom trening og evaluering.
Hva er Datasets?
Datasets er Hugging Faces bibliotek for å laste inn og bearbeide datasett i Python. Det kan hente offentlige datasett fra Hugging Face Hub og lese lokale filer, blant annet CSV, JSON og Parquet. Biblioteket brukes til å gjøre data klare for trening og evaluering av maskinlæringsmodeller.
En sentral funksjon er map, som lar deg bruke samme behandling på mange eksempler. Mellomlagring kan gjøre at tidligere beregninger gjenbrukes. Biblioteket støtter også strømming, slik at du kan arbeide gjennom et datasett uten først å hente hele samlingen til lokal disk.
Hva kan norske bedrifter bruke det til?
Et mulig pilotprosjekt er kategorisering av anonymiserte henvendelser. Teamet kan lese en lokal fil, rydde tekstfeltene og lage et fast vurderingsgrunnlag. Dette er et forslag til arbeidsmåte, ikke en ferdig funksjon for kundeservice.
Avklar først hva hver rad betyr, hvilke kategorier dere trenger, og hvem som har godkjent merkingen. Hold vurderingsdata utenfor treningen. Ellers kan et tilsynelatende godt resultat skyldes at modellen allerede har sett eksemplene. Kontroller også duplikater på tvers av delene.
Slik kommer du i gang
- Opprett et separat Python-miljø og installer med
pip install datasets. - Lag en liten lokal CSV-fil med oppdiktede eksempler og faste kolonnenavn.
- Følg dokumentasjonens eksempel for
load_datasetmed CSV som filtype. - Prøv ett enkelt behandlingssteg med
map, og kontroller resultatet manuelt. - Noter bibliotekversjon, datakilde og hvilke behandlinger som ble brukt.
Sammenlign antall rader og tomme felt før og etter behandlingen. Ikke last bedriftsdata opp til en offentlig samling som del av et første forsøk. Lokal innlasting gir en enklere start, men teamet må fortsatt kontrollere egen kode, lagring og tilganger.
Lisens
Bibliotekets LICENSE-fil angir Apache License 2.0, en åpen kildekodelisens. Modeller, datasett og annet innhold som brukes sammen med biblioteket kan ha egne vilkår. Kontroller disse separat før bruk i bedriften.
Hvorfor vi skriver om det
Vi følger verktøytypen som ofte diskuteres i KI-miljøer og korte videoer. TikTok-kanaler kan ikke kontrolleres direkte her, og vi hevder derfor ikke at en bestemt kanal har omtalt dette prosjektet. Omtalen bygger på prosjektets egne kilder, ikke på et verifisert TikTok-innlegg. Vi har kildekontrollert funksjonene, men ikke gjennomført en lokal ytelsestest.
Lenker
Kilder
Opplysningene er hentet fra kildene over 12. november 2026. Lisens, funksjoner og installasjon kan ha endret seg siden.