Rastreadores de IA y robots.txt: lo que puedes controlar

Tres tipos de bots de IA

No todos los bots de IA hacen el mismo trabajo. Los rastreadores de entrenamiento recopilan contenido que puede usarse para entrenar modelos de IA. Los rastreadores de búsqueda crean un índice con el que las funciones de búsqueda con IA responden preguntas y enlazan fuentes. Los accesos por usuarios abren una página solo cuando un usuario pregunta algo que la necesita. Los grandes operadores usan un token distinto para cada tarea, así que puedes decidir tarea por tarea. OpenAI, por ejemplo, escribe que sus ajustes son independientes: puedes bloquear el entrenamiento y seguir apareciendo en su búsqueda.

Qué tokens existen

A 30 de octubre de 2026, los operadores describen así sus bots:

• OpenAI: GPTBot recopila contenido que puede usarse para entrenar sus modelos fundacionales, OAI-SearchBot sirve para las funciones de búsqueda de ChatGPT y ChatGPT-User visita páginas para acciones que inicia un usuario. OpenAI escribe que las reglas de robots.txt pueden no aplicarse a esas acciones.
• Anthropic: ClaudeBot recopila contenido que podría ayudar a entrenar sus modelos, Claude-SearchBot mejora los resultados de búsqueda y Claude-User abre páginas cuando lo requiere la pregunta de un usuario. Según Anthropic, los tres respetan robots.txt.
• Perplexity: PerplexityBot muestra y enlaza sitios web en los resultados de búsqueda de Perplexity y, según Perplexity, no se usa para rastrear contenido para modelos fundacionales de IA. Perplexity-User abre páginas cuando un usuario pregunta y, como escribe Perplexity, por lo general ignora robots.txt.
• Google: Google-Extended no es un rastreador aparte, sino un token en robots.txt. Controla si el contenido que rastrea Google puede usarse para entrenar futuros modelos de Gemini y para el grounding en Gemini. Según Google, no afecta a la inclusión ni al posicionamiento en la Búsqueda de Google.
• Apple: Applebot-Extended tampoco rastrea páginas. Controla si los datos rastreados por Applebot pueden usarse para entrenar los modelos de IA generativa de Apple. Las páginas que lo bloquean pueden seguir apareciendo en los resultados de búsqueda de Apple.

Otros operadores, como Common Crawl, Meta, Amazon y DuckDuckGo, publican sus propios tokens. Los nombres cambian, así que consulta la documentación del operador.

Cómo funcionan las reglas

• El archivo está en la raíz del host, como https://example.com/robots.txt, y solo se aplica a ese protocolo, host y puerto.
• Las reglas van en grupos bajo líneas User-agent. Según Google, un rastreador sigue solo el grupo más específico que le corresponde. Si un grupo lo nombra, el grupo para todos los rastreadores (*) deja de aplicársele.
• Los nombres de agente no distinguen entre mayúsculas y minúsculas. Dentro de un grupo gana la regla coincidente más larga; si allow y disallow son igual de específicas, Google usa allow.
• Google lee como máximo 500 KiB del archivo. Si robots.txt responde con un estado 4xx distinto de 429, Google trata el sitio como si no hubiera archivo, así que todo puede rastrearse.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

En este ejemplo, los bots de entrenamiento de tres operadores no pueden obtener nada, los rastreadores de búsqueda pueden obtenerlo todo excepto /admin/ y todos los demás rastreadores siguen el primer grupo. Los rastreadores de búsqueda repiten Disallow: /admin/ porque las reglas para * ya no se les aplican.

Qué significa bloquear para tu visibilidad

Cada grupo afecta a un tipo distinto de visibilidad. Si bloqueas un rastreador de entrenamiento, pides a su operador que no use tu contenido para entrenar; Anthropic, por ejemplo, describe el bloqueo de ClaudeBot como una señal para material futuro. Si bloqueas un rastreador de búsqueda, puede que tus páginas no aparezcan en la búsqueda con IA de ese operador. OpenAI escribe que los sitios que bloquean OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, pero pueden seguir apareciendo como enlaces de navegación. Si bloqueas los accesos por usuarios, los asistentes que respetan la regla no pueden abrir tu página cuando alguien pregunta por ella.

Google es un caso especial. Bloquear Google-Extended no elimina tu sitio de la Búsqueda de Google. AI Overviews y AI Mode forman parte de la Búsqueda de Google: según Google, una página debe estar indexada y poder mostrarse con un fragmento, y no hacen falta archivos ni marcado especiales. Para limitar lo que Google muestra de una página, Google nombra nosnippet, data-nosnippet, max-snippet y noindex. Se aplican a toda la Búsqueda, no solo a las funciones de IA.

robots.txt y llms.txt

Los dos archivos hacen tareas distintas. robots.txt dice qué accesos automáticos aceptas. llms.txt es una propuesta de archivo Markdown que da a los asistentes de IA un breve resumen de tus páginas más importantes, sobre todo en el momento en que alguien hace una pregunta; nuestra guía sobre llms.txt explica el formato. Según llmstxt.org, llms.txt puede complementar a robots.txt aportando contexto sobre el contenido permitido, pero no lo sustituye. Decide primero el acceso en robots.txt.

Un orden sensato

1. 1Decide por grupo lo que quieres: entrenamiento, búsqueda con IA y accesos por usuarios. Una opción posible: bloquear el entrenamiento y permitir la búsqueda y los accesos por usuarios.
2. 2Lee tu robots.txt actual: qué grupos hay y qué bloquea el grupo para todos los rastreadores.
3. 3Añade un grupo para cada decisión y repite las reglas del grupo * que deban seguir aplicándose.
4. 4Tras publicarlo, abre /robots.txt en el navegador y revisa el archivo.
5. 5Revisa tu lista de vez en cuando. Los operadores añaden, renombran y retiran bots.

Crea tus reglas con Do4U

La herramienta Crawlers de IA en robots.txt mantiene una lista de rastreadores de IA con su operador, su finalidad y un enlace a la documentación, en tres grupos: entrenamiento de modelos, búsqueda y accesos a petición de un usuario. Tú eliges por grupo o por rastreador: permitir, bloquear o dejar sin cambios, si quieres solo para rutas concretas. Si introduces tu sitio web, Do4U lee tu robots.txt, muestra para cada rastreador de IA el estado antes y después, y añade al final una sección de IA marcada. Tus demás grupos y las líneas Sitemap quedan como están. Se marcan los accesos cuyos operadores dicen que pueden ignorar robots.txt. Después, el código vuelve a comprobar el nuevo archivo. Funciona sin IA y es gratis.

Do4U crea el borrador; tú revisas y decides. robots.txt sigue siendo una petición: Do4U no puede comprobar si un rastreador la cumple.