AI crawlery a robots.txt: co můžeš ovlivnit

Tři druhy AI botů

Ne každý AI bot dělá stejnou práci. Trénovací crawlery sbírají obsah, který může sloužit k trénování AI modelů. Vyhledávací crawlery budují index, ze kterého funkce AI vyhledávání odpovídají na otázky a odkazují na zdroje. Načítání pro uživatele otevře stránku jen tehdy, když se uživatel zeptá na něco, co ji vyžaduje. Velcí provozovatelé používají pro každou úlohu zvláštní token, takže se můžeš rozhodnout pro každou úlohu zvlášť. OpenAI například píše, že jeho nastavení jsou na sobě nezávislá: můžeš zablokovat trénování, a přesto se objevovat v jeho vyhledávání.

Jaké tokeny existují

Ke dni 30. října 2026 popisují provozovatelé své boty takto:

• OpenAI: GPTBot sbírá obsah, který může sloužit k trénování jeho základních modelů, OAI-SearchBot slouží vyhledávacím funkcím ChatGPT a ChatGPT-User navštěvuje stránky při akcích, které spustí uživatel. OpenAI píše, že pravidla robots.txt se na takové akce nemusí vztahovat.
• Anthropic: ClaudeBot sbírá obsah, který by mohl pomoci trénovat jeho modely, Claude-SearchBot zlepšuje výsledky vyhledávání a Claude-User načítá stránky, když to vyžaduje otázka uživatele. Podle Anthropic respektují robots.txt všechny tři.
• Perplexity: PerplexityBot zobrazuje weby ve výsledcích vyhledávání Perplexity a odkazuje na ně a podle Perplexity se nepoužívá k procházení obsahu pro základní AI modely. Perplexity-User načítá stránky na žádost uživatele a, jak Perplexity píše, robots.txt obecně ignoruje.
• Google: Google-Extended není samostatný crawler, ale token v robots.txt. Určuje, zda obsah, který Google prochází, smí sloužit k trénování budoucích modelů Gemini a jako podklad (grounding) v Gemini. Podle Googlu nemá vliv na zařazení ani pořadí ve Vyhledávání Google.
• Apple: Applebot-Extended stránky také neprochází. Určuje, zda data procházená botem Applebot smějí sloužit k trénování generativních AI modelů Applu. Stránky, které ho blokují, se mohou dál objevovat ve výsledcích vyhledávání Applu.

Další provozovatelé, například Common Crawl, Meta, Amazon a DuckDuckGo, zveřejňují vlastní tokeny. Názvy se mění, proto si ověř dokumentaci provozovatele.

Jak pravidla fungují

• Soubor leží v kořeni hostitele, například https://example.com/robots.txt, a platí jen pro daný protokol, hostitele a port.
• Pravidla stojí ve skupinách pod řádky User-agent. Podle Googlu se crawler řídí jen nejkonkrétnější skupinou, která na něj sedí. Pokud ho nějaká skupina jmenuje, skupina pro všechny crawlery (*) už se na něj nevztahuje.
• U názvů agentů nezáleží na velikosti písmen. Uvnitř skupiny vyhrává nejdelší odpovídající pravidlo; jsou-li allow a disallow stejně konkrétní, Google použije allow.
• Google přečte ze souboru nejvýše 500 KiB. Pokud robots.txt odpoví stavem 4xx jiným než 429, Google zachází s webem, jako by soubor neexistoval, takže procházet se smí vše.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

V tomto příkladu nesmějí trénovací boty tří provozovatelů načíst nic, vyhledávací crawlery smějí načíst vše kromě /admin/ a všechny ostatní crawlery se řídí první skupinou. Vyhledávací crawlery opakují Disallow: /admin/, protože pravidla pro * už se na ně nevztahují.

Co blokování znamená pro tvou viditelnost

Každá skupina ovlivňuje jiný druh viditelnosti. Když zablokuješ trénovací crawler, žádáš jeho provozovatele, aby tvůj obsah nepoužíval k trénování; Anthropic například popisuje blokování ClaudeBota jako signál pro budoucí materiál. Když zablokuješ vyhledávací crawler, tvé stránky se nemusí objevovat v AI vyhledávání daného provozovatele. OpenAI píše, že weby, které blokují OAI-SearchBot, se v odpovědích vyhledávání ChatGPT nezobrazují, ale mohou se stále objevit jako navigační odkazy. Když zablokuješ načítání pro uživatele, asistenti, kteří pravidlo respektují, nemohou tvou stránku otevřít, když se na ni někdo zeptá.

Google je zvláštní případ. Zablokování Google-Extended neodstraní tvůj web z Vyhledávání Google. AI přehledy a režim AI jsou součástí Vyhledávání Google: podle Googlu musí být stránka indexovaná a způsobilá k zobrazení s úryvkem a žádné zvláštní soubory ani značky nejsou potřeba. Chceš-li omezit, co Google ze stránky zobrazuje, Google jmenuje nosnippet, data-nosnippet, max-snippet a noindex. Ty platí pro Vyhledávání jako celek, ne jen pro funkce AI.

robots.txt a llms.txt

Oba soubory dělají jinou práci. robots.txt říká, jaký automatický přístup přijímáš. llms.txt je návrh souboru v Markdownu, který AI asistentům dává krátký přehled tvých nejdůležitějších stránek, hlavně ve chvíli, kdy se někdo na něco ptá; formát vysvětluje náš průvodce k llms.txt. Podle llmstxt.org může llms.txt doplnit robots.txt tím, že dá kontext k povolenému obsahu, ale nenahrazuje ho. O přístupu rozhodni nejdřív v robots.txt.

Rozumné pořadí

1. 1Rozhodni pro každou skupinu, co chceš: trénování, AI vyhledávání a načítání pro uživatele. Jedna možná volba: trénování zablokovat, vyhledávání a načítání pro uživatele povolit.
2. 2Přečti svůj aktuální robots.txt: jaké skupiny existují a co blokuje skupina pro všechny crawlery.
3. 3Pro každé rozhodnutí přidej skupinu a zopakuj pravidla ze skupiny *, která mají platit dál.
4. 4Po zveřejnění otevři /robots.txt v prohlížeči a soubor zkontroluj.
5. 5Svůj seznam čas od času projdi. Provozovatelé boty přidávají, přejmenovávají a ruší.

Sestav svá pravidla s Do4U

Nástroj AI crawlery v robots.txt vede seznam AI crawlerů s provozovatelem, účelem a odkazem na dokumentaci, ve třech skupinách: trénování modelů, vyhledávání a načítání na žádost uživatele. Pro každou skupinu nebo každý crawler zvolíš: povolit, zablokovat nebo ponechat beze změny, volitelně pro vybrané cesty. Pokud zadáš svůj web, Do4U přečte tvůj robots.txt, ukáže pro každý AI crawler stav před a po a na konec přidá označený oddíl pro AI. Tvé ostatní skupiny a řádky sitemap zůstanou, jak jsou. Načítání, jejichž provozovatelé uvádějí, že mohou robots.txt ignorovat, jsou označena. Kód pak nový soubor znovu zkontroluje. Běží bez AI a je zdarma.

Do4U sestaví koncept, ty kontroluješ a rozhoduješ. robots.txt zůstává prosbou: zda se jí crawler řídí, Do4U zkontrolovat nemůže.