Ako Do4U načítava webové stránky

Do4U je súbor nástrojov pre weby. Niektoré nástroje na svoju prácu čítajú webovú stránku. Stane sa to len vtedy, keď zákazník sám zadá adresu alebo si nastaví pravidelnú kontrolu svojich vlastných stránok. Sami webom neprehľadávame a nevytvárame vyhľadávací index.

Naši user agenti

Do4U-Reader/1.0 (+https://do4u.eu): Číta jednu stránku, ktorej adresu niekto zadal do nástroja, napríklad pri kontrole webu, kontrole prístupnosti alebo pri titule a popise. Číta aj sitemapy pre interné odkazy.
Do4U-Check/1.0 (+https://do4u.eu/bot): Číta robots.txt, sitemap a ďalšie stránky toho istého webu pre generátor llms.txt (limit na úlohu: 8 stránok).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Oznámi zákazníkovi, že úloha je hotová, na adrese, ktorú zákazník zadal.

Ako často

Jedna stránka na úlohu. Viac stránok číta len generátor llms.txt, a to najviac jednou požiadavkou za sekundu.
Sitemapy pre interné odkazy: najviac jedna požiadavka za sekundu na web.
Pravidelné kontroly (sledovanie webu) len pre stránky, ktoré zákazník zadal, každých 30 dní.
Sledujeme najviac tri presmerovania a nikdy nenačítavame adresy vo vnútorných sieťach.

robots.txt

Generátor llms.txt dodržiava robots.txt: nečíta stránky, ktoré sú zablokované pre Do4U-Check alebo pre všetky prehľadávače. Úvodnú stránku, ktorej adresu zákazník zadal, číta vždy.

Jedna stránka, ktorej adresu niekto zadá priamo, sa číta tak, ako ju číta prehliadač, bez pýtania sa robots.txt.

Ak chceš zablokovať generátor llms.txt pre celý svoj web:

User-agent: Do4U-Check
Disallow: /

Odkiaľ požiadavky prichádzajú

Požiadavky prichádzajú z našich vlastných serverov v Poľsku, EÚ. To, čo prečítame, používame len na príslušnú úlohu a po uplynutí lehôt uchovávania to vymažeme. Nájdeš ich v Centrum dôvery.

Kontakt

Všimol(a) si požiadavku od Do4U, ktorá vyzerá nesprávne? Pozrieme sa na to a odpovieme. Napíš nám, prosím, s adresou svojho webu a približným časom na support@do4u.eu.