Robots IA et robots.txt : ce que tu peux contrôler

Trois types de robots IA

Tous les robots IA ne font pas le même travail. Les robots d’entraînement collectent des contenus qui peuvent servir à entraîner des modèles d’IA. Les robots de recherche construisent un index à partir duquel les fonctions de recherche IA répondent aux questions et renvoient vers des sources. Les récupérateurs pour l’utilisateur n’ouvrent une page que lorsqu’un utilisateur demande quelque chose qui en a besoin. Les grands opérateurs utilisent un jeton distinct pour chaque tâche, ce qui te permet de décider tâche par tâche. OpenAI, par exemple, écrit que ses réglages sont indépendants : tu peux bloquer l’entraînement et apparaître quand même dans sa recherche.

Quels jetons existent

Au 30 octobre 2026, les opérateurs décrivent leurs robots ainsi :

• OpenAI : GPTBot collecte des contenus qui peuvent servir à entraîner ses modèles de fondation, OAI-SearchBot sert aux fonctions de recherche de ChatGPT, et ChatGPT-User visite des pages pour des actions lancées par un utilisateur. OpenAI écrit que les règles de robots.txt peuvent ne pas s’appliquer à ces actions.
• Anthropic : ClaudeBot collecte des contenus qui pourraient aider à entraîner ses modèles, Claude-SearchBot améliore les résultats de recherche, et Claude-User récupère des pages lorsqu’une question d’un utilisateur l’exige. Selon Anthropic, les trois respectent robots.txt.
• Perplexity : PerplexityBot affiche et lie des sites web dans les résultats de recherche de Perplexity et, selon Perplexity, n’est pas utilisé pour explorer des contenus destinés à des modèles de fondation d’IA. Perplexity-User récupère des pages lorsqu’un utilisateur le demande et, comme l’écrit Perplexity, ignore généralement robots.txt.
• Google : Google-Extended n’est pas un robot distinct, mais un jeton dans robots.txt. Il contrôle si les contenus explorés par Google peuvent servir à entraîner les futurs modèles Gemini et à l’ancrage (grounding) dans Gemini. Selon Google, il n’a pas d’effet sur l’inclusion ni sur le classement dans la recherche Google.
• Apple : Applebot-Extended n’explore pas non plus de pages. Il contrôle si les données explorées par Applebot peuvent servir à entraîner les modèles d’IA générative d’Apple. Les pages qui le bloquent peuvent toujours apparaître dans les résultats de recherche d’Apple.

D’autres opérateurs, comme Common Crawl, Meta, Amazon et DuckDuckGo, publient leurs propres jetons. Les noms changent : vérifie donc la documentation de l’opérateur.

Comment fonctionnent les règles

• Le fichier se trouve à la racine de l’hôte, par exemple https://example.com/robots.txt, et ne s’applique qu’à ce protocole, cet hôte et ce port.
• Les règles sont regroupées sous des lignes User-agent. Selon Google, un robot ne suit que le groupe le plus spécifique qui lui correspond. Si un groupe le nomme, le groupe pour tous les robots (*) ne s’applique plus à lui.
• Les noms d’agents ne sont pas sensibles à la casse. Dans un groupe, la règle correspondante la plus longue l’emporte ; si allow et disallow sont aussi spécifiques l’un que l’autre, Google applique allow.
• Google lit au maximum 500 Kio du fichier. Si robots.txt répond avec un statut 4xx autre que 429, Google traite le site comme s’il n’y avait pas de fichier : tout peut donc être exploré.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Dans cet exemple, les robots d’entraînement de trois opérateurs ne peuvent rien récupérer, les robots de recherche peuvent tout récupérer sauf /admin/, et tous les autres robots suivent le premier groupe. Les robots de recherche répètent Disallow: /admin/ parce que les règles pour * ne s’appliquent plus à eux.

Ce que le blocage signifie pour ta visibilité

Chaque groupe touche un type de visibilité différent. Si tu bloques un robot d’entraînement, tu demandes à son opérateur de ne pas utiliser tes contenus pour l’entraînement ; Anthropic, par exemple, décrit le blocage de ClaudeBot comme un signal pour les contenus futurs. Si tu bloques un robot de recherche, tes pages peuvent ne pas apparaître dans la recherche IA de cet opérateur. OpenAI écrit que les sites qui bloquent OAI-SearchBot ne sont pas affichés dans les réponses de recherche de ChatGPT, mais peuvent encore apparaître comme liens de navigation. Si tu bloques les récupérateurs pour l’utilisateur, les assistants qui respectent la règle ne peuvent pas ouvrir ta page quand quelqu’un pose une question à son sujet.

Google est un cas particulier. Bloquer Google-Extended ne retire pas ton site de la recherche Google. Les AI Overviews et le AI Mode font partie de la recherche Google : selon Google, une page doit être indexée et pouvoir être affichée avec un extrait, et aucun fichier ni balisage particulier n’est nécessaire. Pour limiter ce que Google affiche d’une page, Google cite nosnippet, data-nosnippet, max-snippet et noindex. Ils s’appliquent à toute la recherche, pas seulement aux fonctions d’IA.

robots.txt et llms.txt

Les deux fichiers ont des rôles différents. robots.txt dit quels accès automatisés tu acceptes. llms.txt est une proposition de fichier Markdown qui donne aux assistants IA un bref aperçu de tes pages les plus importantes, surtout au moment où quelqu’un pose une question ; notre guide sur llms.txt explique le format. Selon llmstxt.org, llms.txt peut compléter robots.txt en donnant du contexte sur les contenus autorisés, mais il ne le remplace pas. Décide d’abord des accès dans robots.txt.

Un ordre judicieux

1. 1Décide pour chaque groupe ce que tu veux : entraînement, recherche IA et récupérations pour l’utilisateur. Un choix possible : bloquer l’entraînement, autoriser la recherche et les récupérations pour l’utilisateur.
2. 2Lis ton robots.txt actuel : quels groupes existent et ce que bloque le groupe pour tous les robots.
3. 3Ajoute un groupe pour chaque décision et répète les règles du groupe * qui doivent continuer à s’appliquer.
4. 4Après la publication, ouvre /robots.txt dans le navigateur et vérifie le fichier.
5. 5Revois ta liste de temps en temps. Les opérateurs ajoutent, renomment et retirent des robots.

Construire tes règles avec Do4U

L’outil Crawlers IA dans robots.txt tient une liste de robots IA avec l’opérateur, la finalité et un lien vers la documentation, en trois groupes : entraînement de modèles, recherche, et récupérations à la demande d’un utilisateur. Tu choisis par groupe ou par robot : autoriser, bloquer ou laisser tel quel, éventuellement pour des chemins choisis. Si tu indiques ton site web, Do4U lit ton robots.txt, montre pour chaque robot IA l’état avant et après, et ajoute à la fin une section IA identifiée. Tes autres groupes et tes lignes Sitemap restent tels quels. Les récupérateurs dont les opérateurs disent qu’ils peuvent ignorer robots.txt sont signalés. Le code vérifie ensuite à nouveau le nouveau fichier. L’outil fonctionne sans IA et il est gratuit.

Do4U prépare le brouillon, toi tu vérifies et tu décides. robots.txt reste une demande : Do4U ne peut pas vérifier si un robot la suit.