KI-crawlere og robots.txt: hva du kan styre

Tre typer KI-roboter

Ikke alle KI-roboter gjør den samme jobben. Treningscrawlere samler innhold som kan brukes til å trene KI-modeller. Søkecrawlere bygger en indeks som KI-søkefunksjoner bruker til å svare på spørsmål og lenke til kilder. Hentere for brukere åpner en side bare når en bruker spør om noe som krever det. De store operatørene bruker et eget token for hver jobb, så du kan bestemme per jobb. OpenAI skriver for eksempel at innstillingene er uavhengige av hverandre: du kan blokkere trening og likevel vises i søket deres.

Hvilke tokens som finnes

Per 30. oktober 2026 beskriver operatørene robotene sine slik:

• OpenAI: GPTBot samler innhold som kan brukes til å trene grunnmodellene deres, OAI-SearchBot brukes til søkefunksjonene i ChatGPT, og ChatGPT-User besøker sider for handlinger som en bruker starter. OpenAI skriver at robots.txt-regler kanskje ikke gjelder for slike handlinger.
• Anthropic: ClaudeBot samler innhold som kan bidra til å trene modellene deres, Claude-SearchBot forbedrer søkeresultater, og Claude-User henter sider når et spørsmål fra en bruker krever det. Ifølge Anthropic respekterer alle tre robots.txt.
• Perplexity: PerplexityBot viser og lenker til nettsteder i søkeresultatene til Perplexity og brukes ifølge Perplexity ikke til å crawle innhold for KI-grunnmodeller. Perplexity-User henter sider når en bruker spør, og ignorerer, som Perplexity skriver, vanligvis robots.txt.
• Google: Google-Extended er ikke en egen crawler, men et token i robots.txt. Det styrer om innhold som Google crawler, kan brukes til å trene fremtidige Gemini-modeller og til forankring i Gemini. Ifølge Google påvirker det ikke inkludering eller rangering i Google Søk.
• Apple: Applebot-Extended crawler heller ikke sider. Det styrer om data som Applebot har crawlet, kan brukes til å trene Apples generative KI-modeller. Sider som blokkerer det, kan fortsatt vises i Apples søkeresultater.

Andre operatører, som Common Crawl, Meta, Amazon og DuckDuckGo, publiserer egne tokens. Navn endrer seg, så sjekk dokumentasjonen til operatøren.

Slik virker reglene

• Filen ligger i roten av verten, for eksempel https://example.com/robots.txt, og gjelder bare for den protokollen, verten og porten.
• Reglene står i grupper under User-agent-linjer. Ifølge Google følger en crawler bare den mest spesifikke gruppen som passer til den. Hvis en gruppe nevner den, gjelder ikke lenger gruppen for alle crawlere (*) for den.
• Agentnavn skiller ikke mellom store og små bokstaver. Innenfor en gruppe vinner den lengste regelen som passer; hvis allow og disallow er like spesifikke, bruker Google allow.
• Google leser høyst 500 KiB av filen. Hvis robots.txt svarer med en 4xx-status annen enn 429, behandler Google nettstedet som om det ikke fantes noen fil, så alt kan crawles.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

I dette eksempelet får treningsrobotene til tre operatører ikke hente noe, søkecrawlerne kan hente alt unntatt /admin/, og alle andre crawlere følger den første gruppen. Søkecrawlerne gjentar Disallow: /admin/ fordi reglene for * ikke lenger gjelder for dem.

Hva blokkering betyr for synligheten din

Hver gruppe påvirker en annen type synlighet. Hvis du blokkerer en treningscrawler, ber du operatøren om ikke å bruke innholdet ditt til trening; Anthropic beskriver for eksempel blokkering av ClaudeBot som et signal for fremtidig materiale. Hvis du blokkerer en søkecrawler, vises sidene dine kanskje ikke i KI-søket til den operatøren. OpenAI skriver at nettsteder som blokkerer OAI-SearchBot, ikke vises i søkesvarene i ChatGPT, men fortsatt kan vises som navigasjonslenker. Hvis du blokkerer hentere for brukere, kan assistenter som respekterer regelen, ikke åpne siden din når noen spør om den.

Google er et spesialtilfelle. Å blokkere Google-Extended fjerner ikke nettstedet ditt fra Google Søk. AI Overviews og AI Mode er en del av Google Søk: ifølge Google må en side være indeksert og kunne vises med et utdrag, og det trengs ingen spesielle filer eller markeringer. For å begrense hva Google viser fra en side, nevner Google nosnippet, data-nosnippet, max-snippet og noindex. Disse gjelder for Søk som helhet, ikke bare for KI-funksjoner.

robots.txt og llms.txt

De to filene gjør ulike jobber. robots.txt sier hvilken automatisk tilgang du godtar. llms.txt er et forslag til en Markdown-fil som gir KI-assistenter en kort oversikt over de viktigste sidene dine, først og fremst i det øyeblikket noen stiller et spørsmål; veiledningen vår om llms.txt forklarer formatet. Ifølge llmstxt.org kan llms.txt utfylle robots.txt ved å gi kontekst for innhold som er tillatt, men den erstatter den ikke. Bestem tilgangen i robots.txt først.

En fornuftig rekkefølge

1. 1Bestem per gruppe hva du vil: trening, KI-søk og henting for brukere. Ett mulig valg: blokker trening, tillat søk og henting for brukere.
2. 2Les den nåværende robots.txt-filen din: hvilke grupper som finnes, og hva gruppen for alle crawlere blokkerer.
3. 3Legg til en gruppe for hver beslutning, og gjenta reglene fra *-gruppen som fortsatt skal gjelde.
4. 4Etter publisering åpner du /robots.txt i nettleseren og sjekker filen.
5. 5Gå gjennom listen din fra tid til annen. Operatører legger til, gir nye navn til og avvikler roboter.

Bygg reglene dine med Do4U

Verktøyet KI-crawlere i robots.txt har en liste over KI-crawlere med operatør, formål og en lenke til dokumentasjonen, i tre grupper: modelltrening, søk og henting på forespørsel fra en bruker. Du velger per gruppe eller per crawler: tillat, blokker eller la være uendret, eventuelt for utvalgte stier. Hvis du skriver inn nettstedet ditt, leser Do4U robots.txt-filen din, viser for hver KI-crawler tilstanden før og etter, og legger til en merket KI-del på slutten. De andre gruppene og sitemap-linjene dine forblir som de er. Hentere der operatøren sier at de kan ignorere robots.txt, blir merket. Koden sjekker deretter den nye filen på nytt. Det kjører uten KI og er gratis.

Do4U lager utkastet, du sjekker og bestemmer. robots.txt forblir en forespørsel: om en crawler følger den, kan Do4U ikke sjekke.