Kā Do4U ielādē tīmekļa lapas

Do4U ir rīku komplekts tīmekļa vietnēm. Daži rīki nolasa tīmekļa lapu, lai paveiktu savu darbu. Tas notiek tikai tad, kad klients pats ievada adresi vai iestata regulāru savu lapu pārbaudi. Mēs paši nepārmeklējam tīmekli un neveidojam meklēšanas indeksu.

Mūsu lietotāja aģenti

Do4U-Reader/1.0 (+https://do4u.eu): Nolasa vienu lapu, kuras adresi kāds ievadījis rīkā, piemēram, vietnes pārbaudei, piekļūstamības pārbaudei vai nosaukumam un aprakstam. Nolasa arī vietņu kartes iekšējām saitēm.
Do4U-Check/1.0 (+https://do4u.eu/bot): Nolasa robots.txt, vietnes karti un citas tās pašas vietnes lapas llms.txt ģeneratoram (limits vienam uzdevumam: 8 lapas).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Paziņo klientam, ka uzdevums ir pabeigts, uz klienta ievadītu adresi.

Cik bieži

Viena lapa vienā uzdevumā. Tikai llms.txt ģenerators nolasa vairākas lapas, un tad ne vairāk kā vienu pieprasījumu sekundē.
Vietņu kartes iekšējām saitēm: ne vairāk kā viens pieprasījums sekundē katrai vietnei.
Regulāras pārbaudes (vietnes uzraudzība) tikai lapām, ko ievadījis klients, ik pēc 30 dienām.
Mēs sekojam ne vairāk kā trim pāradresācijām un nekad neielādējam adreses iekšējos tīklos.

robots.txt

llms.txt ģenerators ievēro robots.txt: tas nenolasa lapas, kas ir bloķētas priekš Do4U-Check vai visiem rāpuļiem. Tas vienmēr nolasa sākumlapu, kuras adresi ievadījis klients.

Vienu lapu, kuras adresi kāds ievada tieši, nolasa tā, kā to nolasa pārlūks, neprasot robots.txt.

Lai bloķētu llms.txt ģeneratoru visai savai vietnei:

User-agent: Do4U-Check
Disallow: /

No kurienes nāk pieprasījumi

Pieprasījumi nāk no mūsu pašu serveriem Polijā, ES. To, ko nolasām, mēs izmantojam tikai attiecīgajam uzdevumam un dzēšam pēc glabāšanas termiņiem. Tos vari atrast sadaļā Uzticības centrs.

Kontakti

Pamanīji pieprasījumu no Do4U, kas izskatās nepareizs? Mēs to izpētīsim un atbildēsim. Lūdzu, raksti, norādot savas vietnes adresi un aptuveno laiku, uz support@do4u.eu.