Crawlers IA dans robots.txt

Do4U crée les règles pour les robots d'indexation IA dans ton robots.txt. Tu choisis par groupe ou par robot : entraînement des modèles et jeux de données, indexation de recherche et de réponses, et récupérations sur demande d'un utilisateur. Chaque robot de la liste est accompagné de son opérateur, de son but et d'un lien vers la documentation de l'opérateur. Si tu saisis ton site web, Do4U lit ton robots.txt actuel, montre quels robots d'indexation IA il autorise ou bloque aujourd'hui, et ajoute une section IA clairement marquée à la fin. Tes autres groupes et lignes de sitemap restent tels quels. Le code lit ensuite à nouveau le nouveau fichier et vérifie que chaque robot possède les règles que tu as choisies. Tout se passe dans le code, sans IA, et le fichier est créé dans ton navigateur.

Essayer maintenant Tarifs

Gratuit et sans compte : Vérification des robots.txt par crawler IA →

À qui cela s'adresse

Pour les propriétaires de sites web, les agences et les développeurs qui veulent décider quels robots d'indexation IA peuvent utiliser leur contenu, sans briser les règles qu'ils ont déjà.

Utilisations typiques

Bloque les robots d'entraînement IA tout en restant trouvable dans la recherche IA
Vérifie quels robots d'indexation IA ton robots.txt autorise aujourd'hui
Ajoute une section IA à un robots.txt existant sans perdre de règles
Autorise les robots d'indexation IA uniquement pour des chemins sélectionnés

Exemple

Entrée

Site web : https://example.com Robots.txt actuel : User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Choix : bloquer l'entraînement, autoriser la recherche, autoriser les récupérations d'utilisateurs

Résultat

GPTBot : bloqué (règles propres) → bloqué ClaudeBot : partiellement bloqué (règles pour tous) → bloqué OAI-SearchBot : partiellement bloqué (règles pour tous) → partiellement bloqué (règles propres, /admin/ reste bloqué) La règle pour tous les robots et la ligne du sitemap restent inchangées. L'ancien groupe GPTBot reste dans le fichier en tant que commentaire, et la nouvelle section IA est ajoutée à la fin.

Un exemple fixe, raccourci. Les vrais résultats sont générés par l'IA : vérifie-les.

Prix et limites

Prix: gratuit, sans inscription
Disponible avec: Gratuit, Avec forfait
Limite d'entrée: Jusqu'à 60 000 caractères par fichier

Confidentialité

Traités sur nos propres serveurs dans l'UE (Pologne). Les entrées et les résultats sont supprimés après 7 jours (Gratuit) ou 30 jours (forfaits), ou immédiatement après que tu as vu le résultat si tu choisis de ne pas les stocker. Les images sont supprimées immédiatement après traitement.

Dans l'API

Nom de l'outil : ai_robots_txt. Crée une tâche avec POST /api/v1/jobs et récupère le résultat avec GET /api/v1/jobs/{id}. Tu trouveras ta clé API dans ton compte.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Documentation API complète →

Questions et réponses

Le robots.txt arrête-t-il vraiment les robots d'indexation IA ?

Aucun fichier ne peut forcer un robot. Suivre le robots.txt est volontaire, et chaque robot décide lui-même s'il obéit aux règles. Certains récupérateurs qui agissent sur demande d'un utilisateur peuvent ignorer le robots.txt, comme le disent leurs opérateurs. Do4U les marque dans la liste.

Mes autres règles et mon sitemap seront-ils conservés ?

Oui. Do4U conserve tous les autres groupes et toutes les lignes du sitemap. Seules les lignes nommant un robot sur lequel tu décides maintenant deviennent des commentaires, afin que les anciennes et les nouvelles règles ne se mélangent pas. La section IA est clairement marquée à la fin du fichier, et un second passage la remplace.

Bloquer Google-Extended supprime-t-il mon site de Google ?

Non. Google-Extended n'est pas un robot d'indexation mais un jeton dans le robots.txt. Selon Google, il contrôle l'utilisation de ton contenu pour les modèles Gemini et n'affecte pas la recherche Google. Applebot-Extended fonctionne de la même manière pour Apple.

Est-ce que mon texte est stocké ?

Seulement le temps nécessaire : 7 jours en version gratuite, 30 jours avec un forfait – ou pas du tout si tu choisis de ne pas le stocker. Le traitement s'effectue sur nos propres serveurs dans l'UE (Pologne).

Puis-je utiliser le résultat immédiatement ?

Les résultats sont générés par l'IA. Merci de les lire avant de les publier ou de les envoyer.

Outils associés

Générateur llms.txt
Lis ton site web et obtiens un fichier llms.txt prêt pour les assistants IA : le nom de ton site, un court résumé et tes pages les plus importantes, chacune avec une phrase. Le code génère et vérifie le fichier ; tu n'as plus qu'à le télécharger ou le copier.
Vérification de la visibilité IA
Découvre si une page répond bien aux questions que les gens posent habituellement sur son sujet. L'IA propose les questions et note chaque réponse avec une citation exacte de ta page ; le code vérifie les citations et calcule la couverture. Tu vois aussi les réponses manquantes et des conseils sur le balisage FAQ, llms.txt et robots.txt. Pas de promesse de classement.

Tous les outils →