Kaip Do4U gauna interneto puslapius

Do4U yra svetainių įrankių rinkinys. Kai kurie įrankiai savo darbui perskaito interneto puslapį. Tai vyksta tik tada, kai klientas pats įveda adresą arba nustato reguliarų savo puslapių tikrinimą. Mes patys neraižome interneto ir nekuriame paieškos indekso.

Mūsų naudotojo agentai

Do4U-Reader/1.0 (+https://do4u.eu): Perskaito vieną puslapį, kurio adresą kažkas įvedė į įrankį, pavyzdžiui, svetainės patikrai, prieinamumo patikrai ar pavadinimui ir aprašymui. Taip pat skaito svetainės žemėlapius vidinėms nuorodoms.
Do4U-Check/1.0 (+https://do4u.eu/bot): Skaito robots.txt, svetainės žemėlapį ir kitus tos pačios svetainės puslapius llms.txt generatoriui (riba vienai užduočiai: 8 puslapių).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Praneša klientui, kad užduotis baigta, adresu, kurį klientas įvedė.

Kaip dažnai

Vienas puslapis per užduotį. Kelis puslapius skaito tik llms.txt generatorius, ir tada daugiausia viena užklausa per sekundę.
Svetainės žemėlapiai vidinėms nuorodoms: daugiausia viena užklausa per sekundę vienai svetainei.
Reguliarūs patikrinimai (svetainės stebėjimas) tik klientų įvestiems puslapiams, kas 30 d.
Sekame daugiausia tris nukreipimus ir niekada negauname adresų vidiniuose tinkluose.

robots.txt

llms.txt generatorius laikosi robots.txt: jis neskaito puslapių, kurie užblokuoti „Do4U-Check“ arba visiems robotams. Pradžios puslapį, kurio adresą įvedė klientas, jis skaito visada.

Vienas puslapis, kurio adresas įvedamas tiesiogiai, skaitomas taip, kaip jį skaito naršyklė, nesikreipiant į robots.txt.

Norėdamas(-a) užblokuoti llms.txt generatorių visai savo svetainei:

User-agent: Do4U-Check
Disallow: /

Iš kur ateina užklausos

Užklausos ateina iš mūsų pačių serverių Lenkijoje, ES. Tai, ką perskaitome, naudojame tik atitinkamai užduočiai ir ištriname pasibaigus saugojimo terminams. Jų rasi: Pasitikėjimo centras.

Kontaktai

Pastebėjai Do4U užklausą, kuri atrodo neteisinga? Mes ją išnagrinėsime ir atsakysime. Parašyk, nurodydamas(-a) savo svetainės adresą ir apytikslį laiką, adresu support@do4u.eu.