ШІ-краулери в robots.txt

Do4U складає правила для ШІ-краулерів у твоєму robots.txt. Ти вибираєш для кожної групи або кожного краулера: навчання моделей і набори даних, пошуковий індекс і індекс відповідей та запити на прохання користувача. Кожен краулер у списку має оператора, мету й посилання на документацію оператора. Якщо ввести свій сайт, Do4U читає твій поточний robots.txt, показує, яким ШІ-краулерам він сьогодні дозволяє доступ чи блокує його, і додає в кінці чітко позначений розділ для ШІ. Твої інші групи й рядки sitemap залишаються як є. Потім код ще раз читає новий файл і перевіряє, чи кожен краулер має вибрані тобою правила. Усе відбувається в коді, без ШІ, а файл створюється у твоєму браузері.

Спробувати зараз Ціни

Безкоштовно й без облікового запису: Перевірка ШІ-краулерів для robots.txt →

Для кого

Для власників сайтів, агенцій і розробників, які хочуть вирішувати, які ШІ-краулери можуть використовувати їхній вміст, не ламаючи вже наявних правил.

Типове використання

Заблокувати краулери для навчання ШІ й при цьому залишитися в ШІ-пошуку
Перевірити, яким ШІ-краулерам твій robots.txt сьогодні дозволяє доступ
Додати розділ для ШІ до наявного robots.txt, не втративши правил
Дозволити ШІ-краулерам лише вибрані шляхи

Приклад

Ввід

Сайт: https://example.com Поточний robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Вибір: заблокувати навчання, дозволити пошук, дозволити запити користувачів

Результат

GPTBot: заблоковано (власні правила) → заблоковано ClaudeBot: частково заблоковано (правила для всіх) → заблоковано OAI-SearchBot: частково заблоковано (правила для всіх) → частково заблоковано (власні правила, /admin/ залишається заблокованим) Правило для всіх краулерів і рядок sitemap залишаються без змін. Стара група GPTBot залишається у файлі як коментар, а новий розділ для ШІ додається в кінці.

Фіксований приклад, скорочений. Справжні результати створює ШІ: перевіряй їх.

Ціна й ліміти

Ціна: безкоштовно, без реєстрації
Доступно з: Безкоштовний, З пакетом
Ліміт вводу: До 60 000 символів на файл

Конфіденційність

Обробка на наших власних серверах у ЄС (Польща). Ввід і результати видаляються через 7 дн. (безкоштовний тариф) або 30 дн. (пакети), а якщо ти вирішиш їх не зберігати — одразу після того, як побачиш результат. Зображення видаляються одразу після обробки.

В API

Назва інструмента: ai_robots_txt. Створи завдання через POST /api/v1/jobs і отримай результат через GET /api/v1/jobs/{id}. Свій ключ API ти знайдеш у своєму акаунті.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Повна документація API →

Запитання та відповіді

Чи справді robots.txt зупиняє ШІ-краулери?

Жоден файл не може змусити краулер. Дотримання robots.txt добровільне, і кожен краулер сам вирішує, чи виконувати правила. Деякі засоби, що діють на прохання користувача, можуть ігнорувати robots.txt, як кажуть їхні оператори. Do4U позначає їх у списку.

Чи збережуться мої інші правила й моя карта сайту?

Так. Do4U зберігає всі інші групи й усі рядки sitemap. Лише рядки, що називають краулер, щодо якого ти тепер ухвалюєш рішення, стають коментарями, щоб старі й нові правила не змішувалися. Розділ для ШІ чітко позначено в кінці файлу, і повторний запуск його замінює.

Чи видалить блокування Google-Extended мій сайт із Google?

Ні. Google-Extended – не краулер, а токен у robots.txt. За словами Google, він керує використанням твого вмісту для моделей Gemini і не впливає на Пошук Google. Applebot-Extended працює подібно для Apple.

Чи зберігається мій текст?

Лише доти, доки це потрібно: 7 дн. на тарифі Free, 30 дн. з пакетом – або взагалі не зберігається, якщо ти вирішиш його не зберігати. Обробка відбувається на наших власних серверах у ЄС (Польща).

Чи можна одразу користуватися результатом?

Результати створені ШІ. Будь ласка, прочитай їх, перш ніж публікувати чи надсилати.

Пов’язані інструменти

Генератор llms.txt
Прочитай свій сайт і отримай готовий файл llms.txt для ШІ-асистентів: назву сайту, короткий опис і найважливіші сторінки, кожну з одним реченням. Код створює й перевіряє файл; ти його завантажуєш або копіюєш.
Перевірка видимості для ШІ
Дізнайся, наскільки добре сторінка відповідає на запитання, які люди зазвичай ставлять про її тему. ШІ пропонує запитання й оцінює кожну відповідь точною цитатою з твоєї сторінки; код перевіряє цитати та розраховує покриття. Ти також бачиш відсутні відповіді та підказки щодо розмітки FAQ, llms.txt і robots.txt. Жодних обіцянок щодо позицій.

Усі інструменти →