Crawlers de IA en robots.txt

Do4U crea las reglas para rastreadores de IA en tu robots.txt. Puedes elegir por grupo o por rastreador: entrenamiento de modelos y conjuntos de datos, índice de búsqueda y respuestas, y consultas de usuarios. Cada rastreador de la lista incluye su operador, su propósito y un enlace a la documentación del operador. Si introduces tu sitio web, Do4U lee tu robots.txt actual, muestra qué rastreadores de IA permite o bloquea hoy, y añade una sección de IA claramente marcada al final. Tus otros grupos y las líneas del sitemap se mantienen igual. El código vuelve a leer el nuevo archivo y comprueba que cada rastreador tenga las reglas que has elegido. Todo ocurre en el código, sin IA, y el archivo se genera en tu navegador.

Pruébalo ahora Precios

Gratis y sin cuenta: Comprobación de rastreadores de IA para robots.txt →

Para quién es

Para propietarios de sitios web, agencias y desarrolladores que quieran decidir qué rastreadores de IA pueden usar su contenido, sin romper las reglas que ya tienen.

Usos típicos

Bloquea los rastreadores de entrenamiento de IA y sigue apareciendo en las búsquedas de IA
Comprueba qué rastreadores de IA permite hoy tu robots.txt
Añade una sección de IA a un robots.txt existente sin perder las reglas
Permite rastreadores de IA solo para rutas seleccionadas

Ejemplo

Entrada

Sitio web: https://example.com Robots.txt actual: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Elección: bloquear entrenamiento, permitir búsqueda, permitir consultas de usuarios

Resultado

GPTBot: bloqueado (reglas propias) → bloqueado ClaudeBot: parcialmente bloqueado (reglas para todos) → bloqueado OAI-SearchBot: parcialmente bloqueado (reglas para todos) → parcialmente bloqueado (reglas propias, /admin/ sigue bloqueado) La regla para todos los rastreadores y la línea del sitemap permanecen sin cambios. El antiguo grupo GPTBot se mantiene en el archivo como comentario, y la nueva sección de IA se añade al final.

Un ejemplo fijo, acortado. Los resultados reales son generados por IA: por favor, compruébalos.

Precio y límites

Precio: gratis, sin registro
Disponible con: Gratis, Con paquete
Límite de entrada: Hasta 60 000 caracteres por archivo

Privacidad

Procesado en nuestros propios servidores en la UE (Polonia). Las entradas y los resultados se eliminan después de 7 días (Gratis) o 30 días (paquetes), o justo después de que veas el resultado si eliges no guardarlos. Las imágenes se eliminan justo después del procesamiento.

En la API

Nombre de la herramienta: ai_robots_txt. Crea un trabajo con POST /api/v1/jobs y obtén el resultado con GET /api/v1/jobs/{id}. Encuentra tu clave de API en tu cuenta.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Documentación completa de la API →

Preguntas y respuestas

¿Realmente detiene el robots.txt a los rastreadores de IA?

Ningún archivo puede forzar a un rastreador. Seguir el robots.txt es voluntario, y cada rastreador decide por sí mismo si obedece las reglas. Algunos rastreadores que actúan ante la solicitud de un usuario pueden ignorar el robots.txt, según indiquen sus operadores. Do4U los marca en la lista.

¿Se mantendrán mis otras reglas y mi sitemap?

Sí. Do4U mantiene todos los demás grupos y todas las líneas del sitemap. Solo las líneas que nombran a un rastreador sobre el que ahora decides se convierten en comentarios, para que las reglas antiguas y las nuevas no se mezclen. La sección de IA está claramente marcada al final del archivo, y una segunda ejecución la reemplaza.

¿Bloquear Google-Extended elimina mi sitio de Google?

No. Google-Extended no es un rastreador, sino un token en el robots.txt. Según Google, controla el uso de tu contenido para los modelos Gemini y no afecta a la Búsqueda de Google. Applebot-Extended funciona de forma similar para Apple.

¿Se guarda mi texto?

Solo el tiempo necesario: 7 días en el plan Free, 30 días con un paquete – o nada si decides no guardarlo. El procesamiento se realiza en nuestros propios servidores en la UE (Polonia).

¿Puedo usar el resultado de inmediato?

Los resultados son generados por IA. Por favor, léelos antes de publicarlos o enviarlos.

Herramientas relacionadas

generador de llms.txt
Lee tu sitio web y obtén un archivo llms.txt listo para asistentes de IA: el nombre de tu sitio web, un breve resumen y tus páginas más importantes, cada una con una frase. El código construye y comprueba el archivo; tú lo descargas o lo copias.
Comprobación de visibilidad de la IA
Descubre qué tan bien responde una página a las preguntas que la gente suele hacer sobre su tema. La IA propone las preguntas y califica cada respuesta con una cita exacta de tu página; el código verifica las citas y calcula la cobertura. También verás respuestas faltantes y consejos sobre marcado FAQ, llms.txt y robots.txt. No es una promesa de posicionamiento.

Todas las herramientas →