Como o Do4U obtém páginas web

O Do4U é uma caixa de ferramentas para sites. Algumas ferramentas leem uma página web para fazerem o seu trabalho. Isto só acontece quando um cliente indica ele próprio o endereço ou configura uma verificação regular das suas próprias páginas. Não percorremos a web por iniciativa própria e não criamos um índice de pesquisa.

Os nossos user agents

Do4U-Reader/1.0 (+https://do4u.eu): Lê uma única página cujo endereço alguém indicou numa ferramenta, por exemplo para a verificação do site, a verificação de acessibilidade ou o título e a descrição. Lê também sitemaps para ligações internas.
Do4U-Check/1.0 (+https://do4u.eu/bot): Lê o robots.txt, o sitemap e outras páginas do mesmo site para o gerador de llms.txt (limite por tarefa: 8 páginas).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Avisa um cliente de que uma tarefa terminou, num endereço que o cliente indicou.

Com que frequência

Uma página por tarefa. Só o gerador de llms.txt lê várias páginas e, nesse caso, no máximo um pedido por segundo.
Sitemaps para ligações internas: no máximo um pedido por segundo por site.
Verificações regulares (vigilância do site) só de páginas que um cliente indicou, a cada 30 dias.
Seguimos no máximo três redirecionamentos e nunca acedemos a endereços de redes internas.

robots.txt

O gerador de llms.txt respeita o robots.txt: não lê páginas bloqueadas para o Do4U-Check ou para todos os rastreadores. Lê sempre a página inicial cujo endereço o cliente indicou.

Uma página individual cujo endereço alguém indica diretamente é lida da forma como um navegador a lê, sem consultar o robots.txt.

Para bloquear o gerador de llms.txt em todo o teu site:

User-agent: Do4U-Check
Disallow: /

De onde vêm os pedidos

Os pedidos vêm dos nossos próprios servidores na Polónia, UE. Usamos o que lemos apenas para a tarefa em causa e eliminamo-lo após os prazos de conservação. Podes consultá-los na Centro de Confiança.

Contacto

Reparaste num pedido do Do4U que parece errado? Vamos analisá-lo e responder. Escreve, por favor, com o endereço do teu site e a hora aproximada para support@do4u.eu.