Как Do4U зарежда уеб страници

Do4U е набор от инструменти за уебсайтове. Някои инструменти четат уеб страница, за да вършат работата си. Това се случва само когато клиент сам въведе адреса или настрои редовна проверка на собствените си страници. Ние не обхождаме мрежата по своя инициатива и не изграждаме търсачков индекс.

Нашите потребителски агенти

Do4U-Reader/1.0 (+https://do4u.eu): Чете една единствена страница, чийто адрес някой е въвел в инструмент, например за проверката на уебсайта, проверката за достъпност или заглавие и описание. Чете и карти на сайта за вътрешните връзки.
Do4U-Check/1.0 (+https://do4u.eu/bot): Чете robots.txt, картата на сайта и още страници от същия уебсайт за генератора на llms.txt (лимит на задача: 8 страници).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Уведомява клиент, че една задача е приключила, на адрес, въведен от клиента.

Колко често

Една страница на задача. Само генераторът на llms.txt чете няколко страници, и то най-много една заявка в секунда.
Карти на сайта за вътрешни връзки: най-много една заявка в секунда на уебсайт.
Редовни проверки (наблюдение на уебсайт) само за страници, въведени от клиент, на всеки 30 дни.
Следваме най-много три пренасочвания и никога не зареждаме адреси във вътрешни мрежи.

robots.txt

Генераторът на llms.txt спазва robots.txt: той не чете страници, блокирани за Do4U-Check или за всички роботи. Винаги чете началната страница, чийто адрес клиентът е въвел.

Една единствена страница, чийто адрес някой въвежда директно, се чете така, както я чете браузър, без да се пита robots.txt.

За да блокираш генератора на llms.txt за целия си уебсайт:

User-agent: Do4U-Check
Disallow: /

Откъде идват заявките

Заявките идват от наши собствени сървъри в Полша, ЕС. Използваме прочетеното само за съответната задача и го изтриваме след сроковете за съхранение. Можеш да ги намериш в Център за доверие.

Контакт

Забеляза ли заявка от Do4U, която изглежда неправилна? Ще я разгледаме и ще отговорим. Моля, пиши с адреса на уебсайта си и приблизителното време до support@do4u.eu.