Як Do4U завантажує вебсторінки

Наші агенти користувача

Do4U-Reader/1.0 (+https://do4u.eu)

Читає одну сторінку, адресу якої хтось ввів в інструмент, наприклад, для перевірки сайту, перевірки доступності або заголовка й опису. Також читає мапи сайтів для внутрішніх посилань.

Do4U-Check/1.0 (+https://do4u.eu/bot)

Читає robots.txt, мапу сайту та інші сторінки того самого сайту для генератора llms.txt (ліміт на одне завдання: 8 сторінок).

Do4U-Webhook/1.0 (+https://do4u.eu/bot)

Повідомляє клієнта, що завдання завершено, за адресою, яку ввів клієнт.

Як часто

• Одна сторінка на завдання. Лише генератор llms.txt читає кілька сторінок, і то щонайбільше один запит на секунду.
• Мапи сайтів для внутрішніх посилань: щонайбільше один запит на секунду на сайт.
• Регулярні перевірки (спостереження за сайтом) лише для сторінок, які ввів клієнт, кожні 30 днів.
• Ми відстежуємо щонайбільше три переадресації і ніколи не завантажуємо адреси у внутрішніх мережах.

robots.txt

Генератор llms.txt дотримується robots.txt: він не читає сторінки, заблоковані для Do4U-Check або для всіх сканерів. Головну сторінку, адресу якої ввів клієнт, він читає завжди.

Окрема сторінка, адресу якої хтось вводить напряму, читається так, як її читає браузер, без звернення до robots.txt.

Щоб заблокувати генератор llms.txt для всього твого сайту:

User-agent: Do4U-Check
Disallow: /