AI-crawlere og robots.txt: det kan du styre

Tre slags AI-bots

Ikke alle AI-bots gør det samme. Træningscrawlere indsamler indhold, der kan bruges til at træne AI-modeller. Søgecrawlere bygger et indeks, som AI-søgefunktioner bruger til at besvare spørgsmål og linke til kilder. Brugerhentere åbner kun en side, når en bruger spørger om noget, der kræver den. De store operatører bruger et separat token til hver opgave, så du kan beslutte pr. opgave. OpenAI skriver for eksempel, at dets indstillinger er uafhængige af hinanden: du kan blokere træning og stadig blive vist i dets søgning.

Hvilke tokens der findes

Pr. 30. oktober 2026 beskriver operatørerne deres bots sådan:

• OpenAI: GPTBot indsamler indhold, der kan bruges til at træne dets grundmodeller, OAI-SearchBot bruges til søgefunktionerne i ChatGPT, og ChatGPT-User besøger sider ved handlinger, som en bruger starter. OpenAI skriver, at regler i robots.txt muligvis ikke gælder for sådanne handlinger.
• Anthropic: ClaudeBot indsamler indhold, der kan hjælpe med at træne dets modeller, Claude-SearchBot forbedrer søgeresultater, og Claude-User henter sider, når en brugers spørgsmål kræver det. Ifølge Anthropic respekterer alle tre robots.txt.
• Perplexity: PerplexityBot viser og linker til websites i Perplexitys søgeresultater og bruges ifølge Perplexity ikke til at crawle indhold til AI-grundmodeller. Perplexity-User henter sider, når en bruger spørger, og ignorerer, som Perplexity skriver, generelt robots.txt.
• Google: Google-Extended er ikke en separat crawler, men et token i robots.txt. Det styrer, om indhold, som Google crawler, må bruges til at træne fremtidige Gemini-modeller og til grounding i Gemini. Ifølge Google påvirker det ikke optagelse eller placering i Google Søgning.
• Apple: Applebot-Extended crawler heller ikke sider. Det styrer, om data crawlet af Applebot må bruges til at træne Apples generative AI-modeller. Sider, der blokerer det, kan stadig blive vist i Apples søgeresultater.

Andre operatører, for eksempel Common Crawl, Meta, Amazon og DuckDuckGo, offentliggør deres egne tokens. Navne ændrer sig, så tjek operatørens dokumentation.

Sådan virker reglerne

• Filen ligger i roden af værten, for eksempel https://example.com/robots.txt, og gælder kun for den protokol, vært og port.
• Regler står i grupper under User-agent-linjer. Ifølge Google følger en crawler kun den mest specifikke gruppe, der matcher den. Hvis en gruppe nævner den, gælder gruppen for alle crawlere (*) ikke længere for den.
• Agentnavne skelner ikke mellem store og små bogstaver. Inden for en gruppe vinder den længste matchende regel; er allow og disallow lige specifikke, bruger Google allow.
• Google læser højst 500 KiB af filen. Hvis robots.txt svarer med en 4xx-status bortset fra 429, behandler Google websitet, som om der ikke var nogen fil, så alt må crawles.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

I dette eksempel må træningsbots fra tre operatører ikke hente noget, søgecrawlerne må hente alt undtagen /admin/, og alle andre crawlere følger den første gruppe. Søgecrawlerne gentager Disallow: /admin/, fordi reglerne for * ikke længere gælder for dem.

Hvad blokering betyder for din synlighed

Hver gruppe påvirker en anden slags synlighed. Blokerer du en træningscrawler, beder du dens operatør om ikke at bruge dit indhold til træning; Anthropic beskriver for eksempel blokering af ClaudeBot som et signal for fremtidigt materiale. Blokerer du en søgecrawler, bliver dine sider muligvis ikke vist i den operatørs AI-søgning. OpenAI skriver, at websites, der blokerer OAI-SearchBot, ikke vises i ChatGPT's søgesvar, men stadig kan blive vist som navigationslinks. Blokerer du brugerhentere, kan assistenter, der respekterer reglen, ikke åbne din side, når nogen spørger om den.

Google er et særtilfælde. Blokering af Google-Extended fjerner ikke dit website fra Google Søgning. AI Overviews og AI Mode er en del af Google Søgning: ifølge Google skal en side være indekseret og kunne vises med et uddrag, og der kræves ingen særlige filer eller opmærkning. For at begrænse, hvad Google viser fra en side, nævner Google nosnippet, data-nosnippet, max-snippet og noindex. De gælder for Søgning som helhed, ikke kun for AI-funktioner.

robots.txt og llms.txt

De to filer har forskellige opgaver. robots.txt siger, hvilken automatisk adgang du accepterer. llms.txt er et forslag til en Markdown-fil, der giver AI-assistenter et kort overblik over dine vigtigste sider, især i det øjeblik nogen stiller et spørgsmål; vores guide om llms.txt forklarer formatet. Ifølge llmstxt.org kan llms.txt supplere robots.txt ved at give kontekst til indhold, der er tilladt, men den erstatter den ikke. Beslut adgangen i robots.txt først.

En fornuftig rækkefølge

1. 1Beslut pr. gruppe, hvad du vil: træning, AI-søgning og hentning for brugere. Et muligt valg: blokér træning, tillad søgning og hentning for brugere.
2. 2Læs din nuværende robots.txt: hvilke grupper der findes, og hvad gruppen for alle crawlere blokerer.
3. 3Tilføj en gruppe for hver beslutning, og gentag de regler fra *-gruppen, der stadig skal gælde.
4. 4Åbn /robots.txt i browseren efter udgivelsen, og tjek filen.
5. 5Gennemgå din liste en gang imellem. Operatører tilføjer, omdøber og udfaser bots.

Byg dine regler med Do4U

Værktøjet AI-crawlere i robots.txt har en liste over AI-crawlere med operatør, formål og et link til dokumentationen, i tre grupper: modeltræning, søgning og hentning på en brugers anmodning. Du vælger pr. gruppe eller pr. crawler: tillad, blokér eller lad være uændret, eventuelt for udvalgte stier. Hvis du angiver dit website, læser Do4U din robots.txt, viser for hver AI-crawler tilstanden før og efter og tilføjer et markeret AI-afsnit til sidst. Dine andre grupper og sitemap-linjer forbliver, som de er. Hentere, hvis operatører siger, at de kan ignorere robots.txt, er markeret. Koden tjekker derefter den nye fil igen. Det kører uden AI og er gratis.

Do4U bygger udkastet, du tjekker og beslutter. robots.txt forbliver en anmodning: om en crawler følger den, kan Do4U ikke tjekke.