Roboty AI i robots.txt: co możesz kontrolować

Trzy rodzaje botów AI

Nie każdy bot AI wykonuje tę samą pracę. Roboty do trenowania zbierają treści, które mogą posłużyć do trenowania modeli AI. Roboty wyszukiwarek budują indeks, z którego funkcje wyszukiwania AI odpowiadają na pytania i linkują do źródeł. Boty pobierające otwierają stronę tylko wtedy, gdy użytkownik pyta o coś, co jej wymaga. Duzi operatorzy używają osobnego tokenu do każdego zadania, więc możesz decydować osobno o każdym z nich. Według OpenAI jego ustawienia są niezależne: możesz zablokować trenowanie i nadal pojawiać się w jego wyszukiwarce.

Jakie tokeny istnieją

Na 30 października 2026 r. operatorzy opisują swoje boty tak:

• OpenAI: GPTBot zbiera treści, które mogą posłużyć do trenowania modeli bazowych, OAI-SearchBot służy funkcjom wyszukiwania w ChatGPT, a ChatGPT-User odwiedza strony przy działaniach uruchamianych przez użytkownika. OpenAI pisze, że reguły robots.txt mogą nie dotyczyć takich działań.
• Anthropic: ClaudeBot zbiera treści, które mogą pomóc w trenowaniu modeli, Claude-SearchBot poprawia wyniki wyszukiwania, a Claude-User pobiera strony, gdy wymaga tego pytanie użytkownika. Według Anthropic wszystkie trzy przestrzegają robots.txt.
• Perplexity: PerplexityBot pokazuje i linkuje strony w wynikach wyszukiwania Perplexity i według Perplexity nie służy do zbierania treści dla bazowych modeli AI. Perplexity-User pobiera strony, gdy pyta użytkownik, i według Perplexity zwykle ignoruje robots.txt.
• Google: Google-Extended nie jest osobnym robotem, tylko tokenem w robots.txt. Określa, czy treści przeszukane przez Google mogą służyć do trenowania przyszłych modeli Gemini i do groundingu w Gemini. Według Google nie wpływa na obecność ani pozycję w wyszukiwarce Google.
• Apple: Applebot-Extended też nie przeszukuje stron. Określa, czy dane zebrane przez Applebot mogą służyć do trenowania generatywnych modeli AI firmy Apple. Strony, które go blokują, nadal mogą pojawiać się w wynikach wyszukiwania Apple.

Inni operatorzy, tacy jak Common Crawl, Meta, Amazon i DuckDuckGo, publikują własne tokeny. Nazwy się zmieniają, więc sprawdzaj dokumentację operatora.

Jak działają reguły

• Plik leży w katalogu głównym hosta, na przykład pod adresem https://example.com/robots.txt, i dotyczy tylko tego protokołu, hosta i portu.
• Reguły stoją w grupach pod wierszami User-agent. Według Google robot stosuje tylko najbardziej szczegółową grupę, która do niego pasuje. Jeśli wymienia go jakaś grupa, grupa dla wszystkich robotów (*) przestaje go dotyczyć.
• W nazwach agentów wielkość liter nie ma znaczenia. W grupie wygrywa najdłuższa pasująca reguła; jeśli Allow i Disallow są równie szczegółowe, Google wybiera Allow.
• Google czyta najwyżej 500 KiB pliku. Jeśli robots.txt odpowiada statusem 4xx innym niż 429, Google traktuje witrynę tak, jakby pliku nie było, więc wolno przeszukiwać wszystko.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

W tym przykładzie boty do trenowania trzech operatorów nie mogą niczego pobierać, roboty wyszukiwarek mogą pobierać wszystko poza /admin/, a wszystkie inne roboty stosują pierwszą grupę. Roboty wyszukiwarek powtarzają Disallow: /admin/, bo reguły dla * już ich nie dotyczą.

Co blokada oznacza dla widoczności

Każda grupa wpływa na inny rodzaj widoczności. Jeśli blokujesz robota do trenowania, prosisz operatora, żeby nie używał twoich treści do trenowania; Anthropic opisuje na przykład blokadę ClaudeBot jako sygnał dotyczący przyszłych materiałów. Jeśli blokujesz robota wyszukiwarki, twoje strony mogą nie pojawiać się w wyszukiwarce AI tego operatora. OpenAI pisze, że strony blokujące OAI-SearchBot nie są pokazywane w odpowiedziach wyszukiwania ChatGPT, ale nadal mogą pojawiać się jako linki nawigacyjne. Jeśli blokujesz boty pobierające, asystenci przestrzegający reguły nie otworzą twojej strony, gdy ktoś o nią zapyta.

Google to przypadek szczególny. Zablokowanie Google-Extended nie usuwa twojej strony z wyszukiwarki Google. AI Overviews i AI Mode są częścią wyszukiwarki Google: według Google strona musi być zaindeksowana i móc pojawić się z fragmentem, a specjalne pliki ani oznaczenia nie są potrzebne. Aby ograniczyć to, co Google pokazuje ze strony, Google wymienia nosnippet, data-nosnippet, max-snippet i noindex. Działają one dla całej wyszukiwarki, nie tylko dla funkcji AI.

robots.txt i llms.txt

Oba pliki mają różne zadania. robots.txt mówi, jaki automatyczny dostęp akceptujesz. llms.txt to propozycja pliku Markdown, który daje asystentom AI krótki przegląd najważniejszych stron, głównie w chwili, gdy ktoś zadaje pytanie; nasz poradnik o llms.txt wyjaśnia ten format. Według llmstxt.org llms.txt może uzupełniać robots.txt, dając kontekst dla dozwolonych treści, ale go nie zastępuje. Najpierw zdecyduj o dostępie w robots.txt.

Rozsądna kolejność

1. 1Zdecyduj dla każdej grupy, czego chcesz: trenowanie, wyszukiwanie AI i pobrania na prośbę użytkownika. Jeden z możliwych wyborów: zablokować trenowanie, dopuścić wyszukiwanie i pobrania.
2. 2Przeczytaj obecny robots.txt: jakie są grupy i co blokuje grupa dla wszystkich robotów.
3. 3Dodaj grupę dla każdej decyzji i powtórz reguły z grupy *, które mają dalej obowiązywać.
4. 4Po publikacji otwórz /robots.txt w przeglądarce i sprawdź plik.
5. 5Co jakiś czas przejrzyj swoją listę. Operatorzy dodają boty, zmieniają ich nazwy i je wycofują.

Zbuduj reguły z Do4U

Narzędzie Roboty AI w robots.txt prowadzi listę robotów AI z operatorem, celem i linkiem do dokumentacji, w trzech grupach: trenowanie modeli, wyszukiwanie i pobrania na prośbę użytkownika. Wybierasz dla grupy lub dla pojedynczego robota: zezwól, zablokuj albo nie zmieniaj, opcjonalnie dla wybranych ścieżek. Jeśli podasz adres strony, Do4U czyta twój robots.txt, pokazuje dla każdego robota AI stan przed zmianą i po niej i dodaje na końcu oznaczoną sekcję AI. Pozostałe grupy i wiersze Sitemap zostają bez zmian. Boty pobierające, o których operatorzy piszą, że mogą ignorować robots.txt, są oznaczone. Potem kod jeszcze raz sprawdza nowy plik. Działa bez AI i jest za darmo.

Do4U buduje szkic, a ty sprawdzasz i decydujesz. robots.txt pozostaje prośbą: czy robot jej przestrzega, Do4U nie może sprawdzić.