ШІ-краулери й robots.txt: що ти можеш контролювати

Три види ШІ-ботів

Не кожен ШІ-бот виконує ту саму роботу. Краулери для навчання збирають вміст, який може використовуватися для навчання ШІ-моделей. Пошукові краулери будують індекс, з якого ШІ-функції пошуку відповідають на запитання й посилаються на джерела. Засоби запитів користувачів відкривають сторінку лише тоді, коли користувач запитує щось, для чого вона потрібна. Великі оператори використовують окремий токен для кожної роботи, тож ти можеш вирішувати для кожної окремо. OpenAI, наприклад, пише, що її налаштування незалежні: можна заблокувати навчання й усе одно з’являтися в її пошуку.

Які токени існують

Станом на 30 жовтня 2026 р. оператори описують своїх ботів так:

• OpenAI: GPTBot збирає вміст, який може використовуватися для навчання її базових моделей, OAI-SearchBot використовується для функцій пошуку ChatGPT, а ChatGPT-User відвідує сторінки для дій, які запускає користувач. OpenAI пише, що правила robots.txt можуть не застосовуватися до таких дій.
• Anthropic: ClaudeBot збирає вміст, який може допомогти навчати її моделі, Claude-SearchBot покращує результати пошуку, а Claude-User завантажує сторінки, коли цього потребує запитання користувача. За словами Anthropic, усі три дотримуються robots.txt.
• Perplexity: PerplexityBot показує сайти в результатах пошуку Perplexity і посилається на них і, за словами Perplexity, не використовується для збирання вмісту для базових ШІ-моделей. Perplexity-User завантажує сторінки на запит користувача і, як пише Perplexity, зазвичай ігнорує robots.txt.
• Google: Google-Extended – не окремий краулер, а токен у robots.txt. Він визначає, чи можна використовувати вміст, який сканує Google, для навчання майбутніх моделей Gemini і для обґрунтування відповідей у Gemini. За словами Google, він не впливає на включення чи ранжування в Пошуку Google.
• Apple: Applebot-Extended теж не сканує сторінки. Він визначає, чи можна використовувати дані, зібрані Applebot, для навчання генеративних ШІ-моделей Apple. Сторінки, що його блокують, і далі можуть з’являтися в результатах пошуку Apple.

Інші оператори, як-от Common Crawl, Meta, Amazon і DuckDuckGo, публікують власні токени. Назви змінюються, тож перевіряй документацію оператора.

Як працюють правила

• Файл розташований у корені хоста, наприклад https://example.com/robots.txt, і застосовується лише до цього протоколу, хоста й порту.
• Правила стоять групами під рядками User-agent. За словами Google, краулер дотримується лише найконкретнішої групи, яка йому відповідає. Якщо його називає якась група, група для всіх краулерів (*) до нього вже не застосовується.
• Назви агентів не чутливі до регістру. У межах групи перемагає найдовше відповідне правило; якщо allow і disallow однаково конкретні, Google використовує allow.
• Google читає не більше 500 КіБ файлу. Якщо robots.txt відповідає статусом 4xx, відмінним від 429, Google вважає, що файлу немає, тож сканувати можна все.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

У цьому прикладі боти для навчання трьох операторів не можуть нічого завантажувати, пошукові краулери можуть завантажувати все, крім /admin/, а всі інші краулери дотримуються першої групи. Пошукові краулери повторюють Disallow: /admin/, бо правила для * до них уже не застосовуються.

Що блокування означає для твоєї видимості

Кожна група впливає на інший вид видимості. Якщо ти блокуєш краулер для навчання, ти просиш його оператора не використовувати твій вміст для навчання; Anthropic, наприклад, описує блокування ClaudeBot як сигнал для майбутніх матеріалів. Якщо ти блокуєш пошуковий краулер, твої сторінки можуть не з’являтися в ШІ-пошуку цього оператора. OpenAI пише, що сайти, які блокують OAI-SearchBot, не показуються у відповідях пошуку ChatGPT, але все ще можуть з’являтися як навігаційні посилання. Якщо ти блокуєш засоби запитів користувачів, асистенти, що дотримуються правила, не можуть відкрити твою сторінку, коли хтось про неї запитує.

Google – особливий випадок. Блокування Google-Extended не видаляє твій сайт із Пошуку Google. AI Overviews і AI Mode – частина Пошуку Google: за словами Google, сторінка має бути проіндексована й придатна для показу з фрагментом, а спеціальні файли чи розмітка не потрібні. Щоб обмежити те, що Google показує зі сторінки, Google називає nosnippet, data-nosnippet, max-snippet і noindex. Вони застосовуються до Пошуку загалом, а не лише до ШІ-функцій.

robots.txt і llms.txt

Ці два файли виконують різні завдання. robots.txt каже, який автоматизований доступ ти приймаєш. llms.txt – це пропозиція файлу Markdown, що дає ШІ-асистентам короткий огляд твоїх найважливіших сторінок, переважно в момент, коли хтось ставить запитання; наш посібник про llms.txt пояснює формат. За даними llmstxt.org, llms.txt може доповнювати robots.txt, надаючи контекст для дозволеного вмісту, але не замінює його. Спершу визнач доступ у robots.txt.

Розумний порядок

1. 1Виріши для кожної групи, чого ти хочеш: навчання, ШІ-пошук і запити користувачів. Один можливий вибір: заблокувати навчання, дозволити пошук і запити користувачів.
2. 2Прочитай свій поточний robots.txt: які групи є і що блокує група для всіх краулерів.
3. 3Додай групу для кожного рішення й повтори правила з групи *, які мають і далі діяти.
4. 4Після публікації відкрий /robots.txt у браузері й перевір файл.
5. 5Час від часу переглядай свій список. Оператори додають, перейменовують і виводять з ужитку ботів.

Склади свої правила з Do4U

Інструмент «ШІ-краулери в robots.txt» має список ШІ-краулерів з оператором, метою й посиланням на документацію у трьох групах: навчання моделей, пошук і запити на прохання користувача. Ти вибираєш для кожної групи або кожного краулера: дозволити, заблокувати чи залишити без змін, за бажанням для вибраних шляхів. Якщо ввести свій сайт, Do4U читає твій robots.txt, показує для кожного ШІ-краулера стан до і після й додає в кінці позначений розділ для ШІ. Твої інші групи й рядки sitemap залишаються як є. Засоби запитів, оператори яких кажуть, що вони можуть ігнорувати robots.txt, позначено. Потім код ще раз перевіряє новий файл. Він працює без ШІ й безкоштовно.

Do4U складає чернетку, а перевіряєш і вирішуєш ти. robots.txt залишається проханням: чи дотримується його краулер, Do4U перевірити не може.