ИИ ботове и robots.txt: какво можеш да контролираш

Три вида ИИ ботове

Не всеки ИИ бот върши една и съща работа. Ботовете за обучение събират съдържание, което може да се използва за обучение на ИИ модели. Ботовете за търсене изграждат индекс, от който функциите за ИИ търсене отговарят на въпроси и дават връзки към източници. Ботовете за извличане по заявка отварят страница само когато потребител попита нещо, за което тя е нужна. Големите оператори използват отделен токен за всяка задача, така че можеш да решаваш за всяка задача поотделно. OpenAI например пише, че настройките ѝ са независими: можеш да блокираш обучението и въпреки това да се появяваш в търсенето ѝ.

Кои токени има

Към 30 октомври 2026 г. операторите описват ботовете си така:

• OpenAI: GPTBot събира съдържание, което може да се използва за обучение на нейните базови модели, OAI-SearchBot се използва за функциите за търсене на ChatGPT, а ChatGPT-User посещава страници при действия, които стартира потребител. OpenAI пише, че правилата в robots.txt може да не се прилагат за такива действия.
• Anthropic: ClaudeBot събира съдържание, което може да помогне за обучението на нейните модели, Claude-SearchBot подобрява резултатите от търсенето, а Claude-User извлича страници, когато въпрос на потребител го изисква. Според Anthropic и трите спазват robots.txt.
• Perplexity: PerplexityBot показва уебсайтове и дава връзки към тях в резултатите от търсенето на Perplexity и според Perplexity не се използва за обхождане на съдържание за базови ИИ модели. Perplexity-User извлича страници, когато потребител попита, и както пише Perplexity, като цяло пренебрегва robots.txt.
• Google: Google-Extended не е отделен бот, а токен в robots.txt. Той определя дали съдържанието, което Google обхожда, може да се използва за обучение на бъдещи модели Gemini и за grounding в Gemini. Според Google той не влияе на включването или класирането в Google Търсене.
• Apple: Applebot-Extended също не обхожда страници. Той определя дали данните, обходени от Applebot, могат да се използват за обучение на генеративните ИИ модели на Apple. Страниците, които го блокират, все пак могат да се появяват в резултатите от търсенето на Apple.

Други оператори, например Common Crawl, Meta, Amazon и DuckDuckGo, публикуват свои токени. Имената се променят, затова провери документацията на оператора.

Как работят правилата

• Файлът е в корена на хоста, например https://example.com/robots.txt, и се прилага само за този протокол, хост и порт.
• Правилата стоят в групи под редове User-agent. Според Google ботът следва само най-конкретната група, която му съответства. Ако една група го назовава, групата за всички ботове (*) вече не се прилага за него.
• Имената на агентите не са чувствителни към малки и главни букви. В рамките на една група печели най-дългото съвпадащо правило; ако allow и disallow са еднакво конкретни, Google използва allow.
• Google чете най-много 500 KiB от файла. Ако robots.txt отговаря със статус 4xx, различен от 429, Google третира сайта така, сякаш няма файл, следователно всичко може да бъде обходено.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

В този пример ботовете за обучение на трима оператори не могат да извличат нищо, ботовете за търсене могат да извличат всичко освен /admin/, а всички останали ботове следват първата група. Ботовете за търсене повтарят Disallow: /admin/, защото правилата за * вече не се прилагат за тях.

Какво означава блокирането за твоята видимост

Всяка група влияе на различен вид видимост. Ако блокираш бот за обучение, молиш неговия оператор да не използва съдържанието ти за обучение; Anthropic например описва блокирането на ClaudeBot като сигнал за бъдещи материали. Ако блокираш бот за търсене, страниците ти може да не се появяват в ИИ търсенето на този оператор. OpenAI пише, че сайтовете, които блокират OAI-SearchBot, не се показват в отговорите от търсенето в ChatGPT, но все пак може да се появяват като навигационни връзки. Ако блокираш ботовете за извличане по заявка, асистентите, които спазват правилото, не могат да отворят страницата ти, когато някой попита за нея.

Google е специален случай. Блокирането на Google-Extended не премахва сайта ти от Google Търсене. AI Overviews и AI Mode са част от Google Търсене: според Google една страница трябва да е индексирана и да отговаря на условията да бъде показана с фрагмент, като не са нужни специални файлове или маркиране. За да ограничиш какво показва Google от една страница, Google посочва nosnippet, data-nosnippet, max-snippet и noindex. Те се прилагат за Търсенето като цяло, а не само за ИИ функциите.

robots.txt и llms.txt

Двата файла вършат различна работа. robots.txt казва какъв автоматичен достъп приемаш. llms.txt е предложение за Markdown файл, който дава на ИИ асистентите кратък преглед на най-важните ти страници, главно в момента, в който някой задава въпрос; нашето ръководство за llms.txt обяснява формата. Според llmstxt.org llms.txt може да допълва robots.txt, като дава контекст за разрешеното съдържание, но не го заменя. Първо реши достъпа в robots.txt.

Разумен ред

1. 1Реши за всяка група какво искаш: обучение, ИИ търсене и извличане по заявка. Един възможен избор: блокирай обучението, разреши търсенето и извличането по заявка.
2. 2Прочети сегашния си robots.txt: кои групи има и какво блокира групата за всички ботове.
3. 3Добави група за всяко решение и повтори правилата от групата *, които трябва да продължат да се прилагат.
4. 4След публикуване отвори /robots.txt в браузъра и провери файла.
5. 5Преглеждай списъка си от време на време. Операторите добавят, преименуват и спират ботове.

Създай правилата си с Do4U

Инструментът ИИ ботове в robots.txt поддържа списък с ИИ ботове с оператор, цел и връзка към документацията, в три групи: обучение на модели, търсене и извличане по заявка на потребител. Избираш за всяка група или за всеки бот: разреши, блокирай или остави без промяна, по желание за избрани пътища. Ако въведеш уебсайта си, Do4U прочита твоя robots.txt, показва за всеки ИИ бот състоянието преди и след и добавя отбелязан раздел за ИИ в края. Другите ти групи и редове Sitemap остават както са. Ботовете за извличане, чиито оператори казват, че може да пренебрегват robots.txt, са отбелязани. После кодът проверява новия файл отново. Работи без ИИ и е безплатно.

Do4U създава черновата, а ти проверяваш и решаваш. robots.txt остава молба: дали един бот я следва, Do4U не може да провери.