Cum preia Do4U paginile web

Do4U este un set de instrumente pentru site-uri. Unele instrumente citesc o pagină web pentru a-și face treaba. Acest lucru se întâmplă doar când un client introduce singur adresa sau configurează o verificare periodică a propriilor pagini. Nu parcurgem web-ul pe cont propriu și nu construim un index de căutare.

Agenții noștri utilizator

Do4U-Reader/1.0 (+https://do4u.eu): Citește o singură pagină a cărei adresă a fost introdusă într-un instrument, de exemplu pentru verificarea site-ului, verificarea accesibilității sau titlu și descriere. Citește și sitemap-uri pentru linkuri interne.
Do4U-Check/1.0 (+https://do4u.eu/bot): Citește robots.txt, sitemap-ul și alte pagini ale aceluiași site pentru generatorul llms.txt (limită pe sarcină: 8 pagini).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Anunță un client că o sarcină s-a terminat, la o adresă introdusă de client.

Cât de des

O pagină pe sarcină. Doar generatorul llms.txt citește mai multe pagini, și atunci cel mult o cerere pe secundă.
Sitemap-uri pentru linkuri interne: cel mult o cerere pe secundă pe site.
Verificări periodice (supravegherea site-ului) doar pentru paginile introduse de un client, la fiecare 30 zile.
Urmăm cel mult trei redirecționări și nu preluăm niciodată adrese din rețele interne.

robots.txt

Generatorul llms.txt respectă robots.txt: nu citește paginile blocate pentru Do4U-Check sau pentru toți crawlerii. Citește întotdeauna pagina de start a cărei adresă a introdus-o clientul.

O pagină unică a cărei adresă este introdusă direct este citită așa cum o citește un browser, fără a consulta robots.txt.

Pentru a bloca generatorul llms.txt pe întregul tău site:

User-agent: Do4U-Check
Disallow: /

De unde vin cererile

Cererile vin de pe propriile noastre servere din Polonia, UE. Folosim ce citim doar pentru sarcina respectivă și îl ștergem după perioadele de păstrare. Le găsești în Centrul de încredere.

Contact

Ai observat o cerere de la Do4U care ți se pare ciudată? O vom analiza și îți vom răspunde. Te rugăm să scrii cu adresa site-ului tău și ora aproximativă la support@do4u.eu.