Kako Do4U pridobiva spletne strani

Do4U je zbirka orodij za spletna mesta. Nekatera orodja za svoje delo preberejo spletno stran. To se zgodi le, kadar stranka sama vnese naslov ali nastavi redno preverjanje svojih strani. Spleta ne pregledujemo sami od sebe in ne gradimo iskalnega indeksa.

Naši uporabniški agenti

Do4U-Reader/1.0 (+https://do4u.eu): Prebere eno samo stran, katere naslov je nekdo vnesel v orodje, na primer za preverjanje spletnega mesta, preverjanje dostopnosti ali naslov in opis. Bere tudi zemljevide strani za notranje povezave.
Do4U-Check/1.0 (+https://do4u.eu/bot): Bere robots.txt, zemljevid strani in nadaljnje strani istega spletnega mesta za generator llms.txt (omejitev na nalogo: 8 strani).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Stranki sporoči, da je naloga končana, na naslov, ki ga je stranka vnesla.

Kako pogosto

Ena stran na nalogo. Več strani bere samo generator llms.txt, in sicer največ en zahtevek na sekundo.
Zemljevidi strani za notranje povezave: največ en zahtevek na sekundo na spletno mesto.
Redna preverjanja (spremljanje spletnega mesta) samo za strani, ki jih je vnesla stranka, vsakih 30 dni.
Sledimo največ trem preusmeritvam in nikoli ne pridobivamo naslovov v notranjih omrežjih.

robots.txt

Generator llms.txt upošteva robots.txt: ne bere strani, ki so blokirane za Do4U-Check ali za vse pajke. Vedno prebere začetno stran, katere naslov je vnesla stranka.

Posamezna stran, katere naslov nekdo vnese neposredno, se bere tako, kot jo bere brskalnik, brez spraševanja robots.txt.

Če želiš generator llms.txt blokirati za celotno svoje spletno mesto:

User-agent: Do4U-Check
Disallow: /

Od kod prihajajo zahtevki

Zahtevki prihajajo z naših lastnih strežnikov na Poljskem, v EU. Prebrano uporabljamo samo za zadevno nalogo in ga po poteku rokov hrambe izbrišemo. Najdeš jih v Center zaupanja.

Kontakt

Se ti zdi kakšen zahtevek od Do4U sumljiv? Preverili bomo in odgovorili. Piši z naslovom svojega spletnega mesta in približnim časom na support@do4u.eu.