ИИ ботове в robots.txt

Do4U създава правилата за ИИ ботове в твоя robots.txt. Избираш по група или по бот: обучение на модели и набори от данни, индекс за търсене и отговори и заявки по искане на потребител. Всеки бот в списъка е посочен с оператора си, целта си и връзка към документацията на оператора. Ако въведеш уебсайта си, Do4U чете текущия ти robots.txt, показва кои ИИ ботове разрешава или блокира днес, и добавя ясно отбелязан раздел за ИИ в края. Другите ти групи и редовете за sitemap остават както са. След това кодът чете новия файл отново и проверява дали всеки бот има избраните от теб правила. Всичко става в код, без ИИ, а файлът се създава в браузъра ти.

Опитай сега Цени

Безплатно и без акаунт: Проверка на ИИ ботове в robots.txt →

За кого е

За собственици на уебсайтове, агенции и разработчици, които искат да решат кои ИИ ботове могат да използват съдържанието им, без да нарушат правилата, които вече имат.

Типични приложения

Блокирай ботовете за обучение на ИИ и пак бъди намиран в ИИ търсенето
Провери кои ИИ ботове разрешава твоят robots.txt днес
Добави раздел за ИИ към съществуващ robots.txt, без да губиш правила
Разреши ИИ ботове само за избрани пътища

Пример

Вход

Уебсайт: https://example.com Текущ robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Избор: блокирай обучението, разреши търсенето, разреши заявките от потребители

Резултат

GPTBot: блокиран (собствени правила) → блокиран ClaudeBot: частично блокиран (правила за всички) → блокиран OAI-SearchBot: частично блокиран (правила за всички) → частично блокиран (собствени правила, /admin/ остава блокиран) Правилото за всички ботове и редът за sitemap остават непроменени. Старата група за GPTBot остава във файла като коментар, а новият раздел за ИИ се добавя в края.

Фиксиран пример, съкратен. Реалните резултати са генерирани от AI: моля, провери ги.

Цена и лимити

Цена: безплатно, без регистрация
Наличен с: Безплатен, С пакет
Лимит на въвеждане: До 60 000 знака на файл

Поверителност

Обработва се на наши собствени сървъри в ЕС (Полша). Входните данни и резултатите се изтриват след 7 дни (безплатен план) или 30 дни (пакети), или веднага след като видиш резултата, ако избереш да не се съхраняват. Изображенията се изтриват веднага след обработката.

В API

Име на инструмента: ai_robots_txt. Създай задача с POST /api/v1/jobs и вземи резултата с GET /api/v1/jobs/{id}. API ключа си намираш в профила си.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Пълна документация на API →

Въпроси и отговори

Наистина ли robots.txt спира ИИ ботовете?

Никой файл не може да принуди един бот. Спазването на robots.txt е доброволно и всеки бот сам решава дали да следва правилата. Някои инструменти, които зареждат страници по искане на потребител, може да пренебрегват robots.txt, както казват операторите им. Do4U ги отбелязва в списъка.

Ще се запазят ли другите ми правила и моят sitemap?

Да. Do4U запазва всички други групи и всички редове за sitemap. Само редовете, които назовават бот, за който решаваш сега, стават коментари, за да не се смесват старите и новите правила. Разделът за ИИ е ясно отбелязан в края на файла, а повторно изпълнение го заменя.

Премахва ли блокирането на Google-Extended сайта ми от Google?

Не. Google-Extended не е бот, а токен в robots.txt. Според Google той контролира използването на съдържанието ти за моделите Gemini и не засяга Google Търсене. Applebot-Extended работи по подобен начин за Apple.

Запазва ли се текстът ми?

Само толкова, колкото е нужно: 7 дни при безплатния план, 30 дни с пакет – или изобщо не, ако решиш да не го запазваш. Обработката става на наши собствени сървъри в ЕС (Полша).

Мога ли да използвам резултата веднага?

Резултатите са генерирани от ИИ. Моля, прочети ги, преди да ги публикуваш или изпратиш.

Свързани инструменти

Генератор на llms.txt
Прочети уебсайта си и получи готов файл llms.txt за ИИ асистенти: името на уебсайта ти, кратко резюме и най-важните ти страници, всяка с по едно изречение. Кодът създава и проверява файла; ти го изтегляш или копираш.
Проверка на видимостта за ИИ
Разбери колко добре една страница отговаря на въпросите, които хората обикновено задават по темата ѝ. ИИ предлага въпросите и оценява всеки отговор с точен цитат от твоята страница; кодът проверява цитатите и изчислява покритието. Виждаш и липсващите отговори и съвети за ЧЗВ разметка, llms.txt и robots.txt. Без обещание за класиране.

Всички инструменти →