Jak Do4U načítá webové stránky

Do4U je sada nástrojů pro weby. Některé nástroje ke své práci čtou webovou stránku. Děje se to jen tehdy, když zákazník sám zadá adresu nebo nastaví pravidelnou kontrolu svých vlastních stránek. Sami web neprocházíme a nevytváříme vyhledávací index.

Naši user agenti

Do4U-Reader/1.0 (+https://do4u.eu): Čte jednu stránku, jejíž adresu někdo zadal do nástroje, například pro kontrolu webu, kontrolu přístupnosti nebo název a popis. Čte také sitemap pro interní odkazy.
Do4U-Check/1.0 (+https://do4u.eu/bot): Čte robots.txt, sitemap a další stránky stejného webu pro generátor llms.txt (limit na úlohu: 8 stránek).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Oznámí zákazníkovi, že je úloha hotová, na adresu, kterou zákazník zadal.

Jak často

Jedna stránka na úlohu. Více stránek čte jen generátor llms.txt, a to nejvýše jedním požadavkem za sekundu.
Sitemap pro interní odkazy: nejvýše jeden požadavek za sekundu na web.
Pravidelné kontroly (sledování webu) jen u stránek, které zákazník zadal, každých 30 dní.
Sledujeme nejvýše tři přesměrování a nikdy nenačítáme adresy ve vnitřních sítích.

robots.txt

Generátor llms.txt dodržuje robots.txt: nečte stránky, které jsou blokované pro Do4U-Check nebo pro všechny crawlery. Úvodní stránku, jejíž adresu zákazník zadal, čte vždy.

Jedna stránka, jejíž adresu někdo zadá přímo, se čte tak, jak ji čte prohlížeč, bez dotazu na robots.txt.

Takto zablokuješ generátor llms.txt pro celý svůj web:

User-agent: Do4U-Check
Disallow: /

Odkud požadavky přicházejí

Požadavky přicházejí z našich vlastních serverů v Polsku, EU. To, co přečteme, používáme jen pro danou úlohu a po uplynutí lhůt uchování to mažeme. Najdeš je zde: Centrum důvěry.

Kontakt

Všiml(a) sis požadavku od Do4U, který vypadá divně? Podíváme se na to a odpovíme. Napiš nám prosím s adresou svého webu a přibližným časem na support@do4u.eu.