Kako Do4U dohvaća web-stranice

Naši korisnički agenti

Do4U-Reader/1.0 (+https://do4u.eu)

Čita jednu stranicu čiju je adresu netko unio u alat, na primjer za provjeru web-stranice, provjeru pristupačnosti ili naslov i opis. Čita i sitemapove za interne poveznice.

Do4U-Check/1.0 (+https://do4u.eu/bot)

Čita robots.txt, sitemap i dodatne stranice iste web-stranice za generator datoteke llms.txt (ograničenje po zadatku: 8 stranica).

Do4U-Webhook/1.0 (+https://do4u.eu/bot)

Javlja korisniku da je zadatak gotov, na adresu koju je korisnik unio.

Koliko često

• Jedna stranica po zadatku. Samo generator datoteke llms.txt čita više stranica, i to najviše jedan zahtjev u sekundi.
• Sitemapovi za interne poveznice: najviše jedan zahtjev u sekundi po web-stranici.
• Redovite provjere (praćenje web-stranice) samo za stranice koje je korisnik unio, svakih 30 dana.
• Pratimo najviše tri preusmjeravanja i nikad ne dohvaćamo adrese u internim mrežama.

robots.txt

Generator datoteke llms.txt poštuje robots.txt: ne čita stranice koje su blokirane za Do4U-Check ili za sve alate za pretraživanje. Uvijek čita početnu stranicu čiju je adresu korisnik unio.

Pojedinačna stranica čiju adresu netko izravno unese čita se onako kako je čita preglednik, bez pitanja robots.txt.

Za blokiranje generatora datoteke llms.txt na cijeloj tvojoj web-stranici:

User-agent: Do4U-Check
Disallow: /