Cómo Do4U obtiene páginas web

Do4U es una caja de herramientas para sitios web. Algunas herramientas leen una página web para realizar su trabajo. Esto solo ocurre cuando un cliente introduce la dirección él mismo o configura una comprobación regular de sus propias páginas. No rastreamos la web por nuestra cuenta ni creamos un índice de búsqueda.

Nuestros agentes de usuario

Do4U-Reader/1.0 (+https://do4u.eu): Lee una sola página cuya dirección alguien ha introducido en una herramienta, por ejemplo para la comprobación del sitio web, la comprobación de accesibilidad o título y descripción. También lee sitemaps para enlaces internos.
Do4U-Check/1.0 (+https://do4u.eu/bot): Lee robots.txt, el sitemap y otras páginas del mismo sitio web para el generador llms.txt (límite por tarea: 8 páginas).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Informa al cliente de que una tarea ha finalizado, en una dirección que el cliente ha introducido.

Con qué frecuencia

Una página por tarea. Solo el generador llms.txt lee varias páginas, y luego, como máximo, una solicitud por segundo.
Sitemaps para enlaces internos: como máximo una solicitud por segundo por sitio web.
Comprobaciones regulares (vigilancia de sitios web) solo para las páginas que un cliente haya introducido, cada 30 días.
Seguimos como máximo tres redirecciones y nunca buscamos direcciones en redes internas.

robots.txt

El generador llms.txt sigue el archivo robots.txt: no lee páginas que estén bloqueadas para Do4U-Check o para todos los rastreadores. Siempre lee la página de inicio cuya dirección ha introducido el cliente.

Una sola página cuya dirección alguien introduce directamente se lee de la misma forma que la lee un navegador, sin preguntar a robots.txt.

Para bloquear el generador llms.txt en todo tu sitio web:

User-agent: Do4U-Check
Disallow: /

De dónde vienen las solicitudes

Las solicitudes provienen de nuestros propios servidores en Polonia, UE. Solo utilizamos lo que leemos para la tarea en cuestión y lo eliminamos tras los periodos de retención. Puedes encontrarlos en la Centro de confianza.

Contacto

¿Has notado una solicitud de Do4U que parezca incorrecta? Investigaremos el asunto y te responderemos. Por favor, escribe con la dirección de tu sitio web y la hora aproximada a support@do4u.eu.