Crawl4AI: gjør nettsider om til KI-klar tekst

Hva er Crawl4AI?

Crawl4AI er en nettcrawler og skraper skrevet i Python. Den gjør nettsider om til ren Markdown som språkmodeller kan lese, til bruk i dokumentsøk (RAG), KI-agenter og datapipelines. Ifølge README kan den:

• Lage Markdown med overskrifter, lister, tabeller og kodeblokker
• Filtrere bort menyer, bunntekst og annet støy
• Gjøre lenkene på siden om til en nummerert kildeliste
• Håndtere økter, informasjonskapsler, proxyer og egne skript

Verktøyet bruker en ekte nettleser i bakgrunnen, slik at også sider som bygges med JavaScript, kan leses. Det kan brukes som Python-bibliotek, fra kommandolinjen eller som egen server i Docker. Prosjektet har i tillegg en betalt skytjeneste, Crawl4AI Cloud, med en gratis månedskvote. Den trenger du ikke for å bruke den åpne versjonen.

Hva kan norske bedrifter bruke det til?

• Gjøre egen nettside til kunnskapsbase: Hent alle sidene på bedriftens nettsted og bruk teksten i en intern KI-assistent.
• Følge med på offentlige kilder: Hent oppdaterte veiledere eller regelverkssider som bakgrunn for svar.
• Sjekke hva KI ser: Se hvordan nettstedet deres faktisk ser ut som ren tekst for en maskin.

Vær forsiktig med andres nettsteder. Les vilkårene og robots.txt, ikke belast sidene unødig, og husk at innholdet kan være opphavsrettslig beskyttet eller inneholde personopplysninger.

Slik kommer du i gang

README viser installasjonen med pip. Den andre kommandoen installerer nettleseren én gang:

pip install -U crawl4ai
crawl4ai-setup

I Python bruker du AsyncWebCrawler. Kall arun(url=...) med adressen, og les result.markdown. Start med bedriftens egen nettside. Dokumentasjonen beskriver også Docker-serveren, kommandolinjen og alle innstillingene.

Lisens

Lisensfilen er Apache License 2.0, men med et ekstra krav om kreditering lagt til nederst. Alle distribusjoner, publikasjoner og offentlige bruk av programvaren, eller av verk som bygger på den, skal ta med en fast setning om at produktet inneholder programvare fra UncleCode som del av Crawl4AI-prosjektet. Lisensfilen gir eksempler på hvor setningen skal stå: i README eller NOTICE, under «Om» eller «Credits» på nettsteder og i hjelpeteksten til kommandolinjeverktøy. Standard Apache 2.0 er OSI-godkjent, men dette tilleggskravet er ikke en del av standardteksten. Vurder derfor vilkårene før dere bygger det inn i et produkt.

Hvorfor vi skriver om det

KI-assistenter er bare så gode som teksten de får, og mye bedriftskunnskap ligger på nettsider. KI-kanaler på TikTok kan gi ideer, men TikTok er ikke lest direkte, og vi har ikke verifisert omtale hos bestemte skapere. Funksjoner og lisens er kontrollert mot prosjektets egne sider og GitHub-repo. Brukseksemplene over er forslag, ikke målte resultater fra norske bedrifter.

This product includes software developed by UncleCode (https://x.com/unclecode) as part of the Crawl4AI project (https://github.com/unclecode/crawl4ai). Vi bruker ikke Crawl4AI selv, men tar med setningen for sikkerhets skyld.

Lenker

• Offisiell side
• Kildekode og README
• Dokumentasjon
• Lisensfil