AI-crawlers en robots.txt: wat je kunt regelen

Drie soorten AI-bots

Niet elke AI-bot doet hetzelfde werk. Trainingscrawlers verzamelen inhoud die gebruikt kan worden om AI-modellen te trainen. Zoekcrawlers bouwen een index waaruit AI-zoekfuncties vragen beantwoorden en naar bronnen linken. Ophalers voor gebruikers openen een pagina alleen wanneer een gebruiker iets vraagt waarvoor die pagina nodig is. De grote aanbieders gebruiken voor elke taak een apart token, zodat je per taak kunt beslissen. OpenAI schrijft bijvoorbeeld dat zijn instellingen los van elkaar staan: je kunt training blokkeren en toch in zijn zoekfunctie verschijnen.

Welke tokens er zijn

Op 30 oktober 2026 beschrijven de aanbieders hun bots zo:

• OpenAI: GPTBot verzamelt inhoud die gebruikt kan worden om zijn basismodellen te trainen, OAI-SearchBot wordt gebruikt voor de zoekfuncties van ChatGPT, en ChatGPT-User bezoekt pagina's voor acties die een gebruiker start. OpenAI schrijft dat robots.txt-regels mogelijk niet gelden voor zulke acties.
• Anthropic: ClaudeBot verzamelt inhoud die kan helpen zijn modellen te trainen, Claude-SearchBot verbetert zoekresultaten, en Claude-User haalt pagina's op wanneer een vraag van een gebruiker dat nodig maakt. Volgens Anthropic respecteren alle drie robots.txt.
• Perplexity: PerplexityBot toont en linkt websites in de zoekresultaten van Perplexity en wordt volgens Perplexity niet gebruikt om inhoud te crawlen voor AI-basismodellen. Perplexity-User haalt pagina's op wanneer een gebruiker iets vraagt en negeert, zoals Perplexity schrijft, robots.txt in het algemeen.
• Google: Google-Extended is geen aparte crawler, maar een token in robots.txt. Het bepaalt of inhoud die Google crawlt gebruikt mag worden om toekomstige Gemini-modellen te trainen en voor grounding in Gemini. Volgens Google heeft het geen invloed op opname of ranking in Google Zoeken.
• Apple: ook Applebot-Extended crawlt geen pagina's. Het bepaalt of gegevens die Applebot heeft gecrawld gebruikt mogen worden om de generatieve AI-modellen van Apple te trainen. Pagina's die het blokkeren, kunnen nog steeds in de zoekresultaten van Apple verschijnen.

Andere aanbieders, zoals Common Crawl, Meta, Amazon en DuckDuckGo, publiceren hun eigen tokens. Namen veranderen, dus kijk in de documentatie van de aanbieder.

Hoe de regels werken

• Het bestand staat in de root van de host, zoals https://example.com/robots.txt, en geldt alleen voor dat protocol, die host en die poort.
• Regels staan in groepen onder User-agent-regels. Volgens Google volgt een crawler alleen de meest specifieke groep die op hem past. Noemt een groep hem, dan geldt de groep voor alle crawlers (*) niet meer voor hem.
• Namen van agents zijn niet hoofdlettergevoelig. Binnen een groep wint de langste passende regel; zijn allow en disallow even specifiek, dan gebruikt Google allow.
• Google leest hoogstens 500 KiB van het bestand. Antwoordt robots.txt met een 4xx-status anders dan 429, dan behandelt Google de site alsof er geen bestand is, dus mag alles worden gecrawld.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

In dit voorbeeld mogen de trainingsbots van drie aanbieders niets ophalen, mogen de zoekcrawlers alles ophalen behalve /admin/, en volgen alle andere crawlers de eerste groep. De zoekcrawlers herhalen Disallow: /admin/ omdat de regels voor * niet meer voor hen gelden.

Wat blokkeren betekent voor je zichtbaarheid

Elke groep raakt een andere soort zichtbaarheid. Blokkeer je een trainingscrawler, dan vraag je de aanbieder je inhoud niet voor training te gebruiken; Anthropic beschrijft het blokkeren van ClaudeBot bijvoorbeeld als signaal voor toekomstig materiaal. Blokkeer je een zoekcrawler, dan verschijnen je pagina's mogelijk niet in de AI-zoekfunctie van die aanbieder. OpenAI schrijft dat sites die OAI-SearchBot blokkeren niet in de zoekantwoorden van ChatGPT worden getoond, maar wel nog als navigatielinks kunnen verschijnen. Blokkeer je ophalers voor gebruikers, dan kunnen assistenten die de regel respecteren je pagina niet openen wanneer iemand ernaar vraagt.

Google is een bijzonder geval. Google-Extended blokkeren haalt je site niet uit Google Zoeken. AI-overzichten en AI-modus zijn onderdeel van Google Zoeken: volgens Google moet een pagina geïndexeerd zijn en in aanmerking komen om met een fragment te worden getoond, en zijn er geen speciale bestanden of opmaak nodig. Om te beperken wat Google van een pagina toont, noemt Google nosnippet, data-nosnippet, max-snippet en noindex. Die gelden voor Zoeken als geheel, niet alleen voor AI-functies.

robots.txt en llms.txt

De twee bestanden doen verschillend werk. robots.txt zegt welke geautomatiseerde toegang je accepteert. llms.txt is een voorstel voor een Markdown-bestand dat AI-assistenten een kort overzicht van je belangrijkste pagina's geeft, vooral op het moment dat iemand een vraag stelt; onze gids over llms.txt legt het formaat uit. Volgens llmstxt.org kan llms.txt robots.txt aanvullen door context te geven bij inhoud die is toegestaan, maar het vervangt robots.txt niet. Leg de toegang eerst vast in robots.txt.

Een zinnige volgorde

1. 1Bepaal per groep wat je wilt: training, AI-zoeken en ophalen voor gebruikers. Een mogelijke keuze: training blokkeren, zoeken en ophalen voor gebruikers toestaan.
2. 2Lees je huidige robots.txt: welke groepen er zijn en wat de groep voor alle crawlers blokkeert.
3. 3Voeg voor elke beslissing een groep toe en herhaal de regels uit de *-groep die moeten blijven gelden.
4. 4Open na het publiceren /robots.txt in de browser en controleer het bestand.
5. 5Bekijk je lijst af en toe opnieuw. Aanbieders voegen bots toe, geven ze een nieuwe naam en schaffen ze af.

Stel je regels op met Do4U

De tool AI-crawlers in robots.txt houdt een lijst bij van AI-crawlers met aanbieder, doel en een link naar de documentatie, in drie groepen: modeltraining, zoeken, en ophalen op verzoek van een gebruiker. Je kiest per groep of per crawler: toestaan, blokkeren of ongewijzigd laten, desgewenst voor gekozen paden. Voer je je website in, dan leest Do4U je robots.txt, toont voor elke AI-crawler de situatie ervoor en erna, en voegt aan het eind een gemarkeerd AI-gedeelte toe. Je andere groepen en sitemap-regels blijven zoals ze zijn. Ophalers waarvan de aanbieders zeggen dat ze robots.txt kunnen negeren, worden gemarkeerd. De code controleert het nieuwe bestand daarna opnieuw. Het werkt zonder AI en is gratis.

Do4U maakt het concept, jij controleert en beslist. robots.txt blijft een verzoek: of een crawler het volgt, kan Do4U niet controleren.