Comment Do4U récupère les pages web

Do4U est une boîte à outils pour les sites web. Certains outils lisent une page web pour effectuer leur travail. Cela n'arrive que lorsqu'un client saisit lui-même l'adresse ou configure une vérification régulière de ses propres pages. Nous ne parcourons pas le web de notre propre chef et nous ne construisons pas d'index de recherche.

Nos agents utilisateurs

Do4U-Reader/1.0 (+https://do4u.eu): Lit une page unique dont l'adresse a été saisie dans un outil, par exemple pour la vérification d'un site, la vérification de l'accessibilité ou du titre et de la description. Lit également les sitemaps pour les liens internes.
Do4U-Check/1.0 (+https://do4u.eu/bot): Lit robots.txt, le sitemap et d'autres pages du même site web pour le générateur llms.txt (limite par tâche : 8 pages).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Informe un client qu'une tâche est terminée, à une adresse saisie par le client.

Fréquence

Une page par tâche. Seul le générateur llms.txt lit plusieurs pages, et alors au maximum une requête par seconde.
Sitemaps pour liens internes : au maximum une requête par seconde par site web.
Vérifications régulières (surveillance de site) uniquement pour les pages saisies par un client, tous les 30 jours.
Nous suivons au maximum trois redirections et ne récupérons jamais d'adresses dans des réseaux internes.

robots.txt

Le générateur llms.txt respecte robots.txt : il ne lit pas les pages bloquées pour Do4U-Check ou pour tous les robots d'indexation. Il lit toujours la page d'accueil dont l'adresse a été saisie par le client.

Une page unique dont l'adresse est saisie directement est lue comme le ferait un navigateur, sans consulter robots.txt.

Pour bloquer le générateur llms.txt pour tout votre site web :

User-agent: Do4U-Check
Disallow: /

D'où proviennent les requêtes

Les requêtes proviennent de nos propres serveurs en Pologne, UE. Nous n'utilisons ce que nous lisons que pour la tâche en question et nous le supprimons après les périodes de conservation. Vous pouvez les trouver dans le Centre de confiance.

Contact

Avez-vous remarqué une requête de Do4U qui semble incorrecte ? Nous l'examinerons et vous répondrons. Merci d'écrire avec l'adresse de votre site web et l'heure approximative à support@do4u.eu.