Prehľadávače AI a robots.txt: čo môžeš ovplyvniť

Tri druhy botov AI

Nie každý bot AI robí tú istú prácu. Trénovacie prehľadávače zbierajú obsah, ktorý sa môže použiť na trénovanie modelov AI. Vyhľadávacie prehľadávače budujú index, z ktorého funkcie vyhľadávania s AI odpovedajú na otázky a odkazujú na zdroje. Nástroje na načítanie na žiadosť používateľa otvoria stránku, iba keď sa používateľ spýta na niečo, čo ju potrebuje. Veľkí prevádzkovatelia používajú pre každú úlohu samostatný token, takže môžeš rozhodnúť pre každú úlohu zvlášť. OpenAI napríklad píše, že jeho nastavenia sú nezávislé: môžeš zablokovať trénovanie a aj tak sa zobrazovať v jeho vyhľadávaní.

Aké tokeny existujú

K 30. októbru 2026 opisujú prevádzkovatelia svoje boty takto:

• OpenAI: GPTBot zbiera obsah, ktorý sa môže použiť na trénovanie jeho základných modelov, OAI-SearchBot slúži funkciám vyhľadávania v ChatGPT a ChatGPT-User navštevuje stránky pri akciách, ktoré spustí používateľ. OpenAI píše, že pravidlá robots.txt sa na takéto akcie nemusia vzťahovať.
• Anthropic: ClaudeBot zbiera obsah, ktorý by mohol pomôcť trénovať jeho modely, Claude-SearchBot zlepšuje výsledky vyhľadávania a Claude-User načítava stránky, keď to otázka používateľa vyžaduje. Podľa Anthropicu všetky tri rešpektujú robots.txt.
• Perplexity: PerplexityBot zobrazuje a odkazuje weby vo výsledkoch vyhľadávania Perplexity a podľa Perplexity sa nepoužíva na prehľadávanie obsahu pre základné modely AI. Perplexity-User načítava stránky, keď sa používateľ spýta, a ako píše Perplexity, robots.txt spravidla ignoruje.
• Google: Google-Extended nie je samostatný prehľadávač, ale token v robots.txt. Riadi, či sa obsah, ktorý Google prehľadá, smie použiť na trénovanie budúcich modelov Gemini a na grounding v Gemini. Podľa Google nemá vplyv na zaradenie ani poradie vo Vyhľadávaní Google.
• Apple: Applebot-Extended tiež neprehľadáva stránky. Riadi, či sa údaje prehľadané Applebotom smú použiť na trénovanie generatívnych modelov AI spoločnosti Apple. Stránky, ktoré ho blokujú, sa aj tak môžu zobrazovať vo výsledkoch vyhľadávania Apple.

Ďalší prevádzkovatelia, napríklad Common Crawl, Meta, Amazon a DuckDuckGo, zverejňujú vlastné tokeny. Názvy sa menia, preto si skontroluj dokumentáciu prevádzkovateľa.

Ako pravidlá fungujú

• Súbor sa nachádza v koreňovom adresári hostiteľa, napríklad https://example.com/robots.txt, a platí iba pre daný protokol, hostiteľa a port.
• Pravidlá sú v skupinách pod riadkami User-agent. Podľa Google sa prehľadávač riadi iba najšpecifickejšou skupinou, ktorá mu zodpovedá. Ak ho skupina menuje, skupina pre všetky prehľadávače (*) sa naňho už nevzťahuje.
• V názvoch agentov nezáleží na veľkosti písmen. V rámci skupiny vyhráva najdlhšie zodpovedajúce pravidlo; ak sú allow a disallow rovnako špecifické, Google použije allow.
• Google prečíta najviac 500 KiB súboru. Ak robots.txt odpovedá stavom 4xx iným ako 429, Google sa k webu správa, akoby súbor neexistoval, takže sa smie prehľadávať všetko.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

V tomto príklade trénovacie boty troch prevádzkovateľov nesmú načítať nič, vyhľadávacie prehľadávače smú načítať všetko okrem /admin/ a všetky ostatné prehľadávače sa riadia prvou skupinou. Vyhľadávacie prehľadávače opakujú Disallow: /admin/, pretože pravidlá pre * sa na ne už nevzťahujú.

Čo zablokovanie znamená pre tvoju viditeľnosť

Každá skupina ovplyvňuje iný druh viditeľnosti. Ak zablokuješ trénovací prehľadávač, žiadaš jeho prevádzkovateľa, aby tvoj obsah nepoužíval na trénovanie; Anthropic napríklad opisuje zablokovanie ClaudeBota ako signál pre budúci materiál. Ak zablokuješ vyhľadávací prehľadávač, tvoje stránky sa nemusia zobrazovať vo vyhľadávaní s AI daného prevádzkovateľa. OpenAI píše, že weby, ktoré blokujú OAI-SearchBot, sa v odpovediach vyhľadávania ChatGPT nezobrazujú, ale môžu sa stále objaviť ako navigačné odkazy. Ak zablokuješ nástroje na načítanie na žiadosť používateľa, asistenti, ktorí pravidlo rešpektujú, nemôžu tvoju stránku otvoriť, keď sa na ňu niekto spýta.

Google je osobitný prípad. Zablokovanie Google-Extended neodstráni tvoj web z Vyhľadávania Google. AI Overviews a AI Mode sú súčasťou Vyhľadávania Google: podľa Google musí byť stránka indexovaná a spĺňať podmienky na zobrazenie s úryvkom a nie sú potrebné žiadne osobitné súbory ani značkovanie. Na obmedzenie toho, čo Google zo stránky zobrazí, Google uvádza nosnippet, data-nosnippet, max-snippet a noindex. Platia pre Vyhľadávanie ako celok, nielen pre funkcie AI.

robots.txt a llms.txt

Tieto dva súbory robia rôznu prácu. robots.txt hovorí, aký automatický prístup prijímaš. llms.txt je návrh súboru Markdown, ktorý asistentom AI dáva krátky prehľad tvojich najdôležitejších stránok, najmä v okamihu, keď niekto položí otázku; formát vysvetľuje náš sprievodca o llms.txt. Podľa llmstxt.org môže llms.txt dopĺňať robots.txt tým, že dáva kontext k povolenému obsahu, ale nenahrádza ho. O prístupe rozhodni najprv v robots.txt.

Rozumné poradie

1. 1Rozhodni pre každú skupinu, čo chceš: trénovanie, vyhľadávanie s AI a načítania na žiadosť používateľa. Jedna možná voľba: blokovať trénovanie, povoliť vyhľadávanie a načítania na žiadosť používateľa.
2. 2Prečítaj svoj aktuálny robots.txt: ktoré skupiny existujú a čo blokuje skupina pre všetky prehľadávače.
3. 3Pridaj skupinu pre každé rozhodnutie a zopakuj pravidlá zo skupiny *, ktoré majú naďalej platiť.
4. 4Po zverejnení otvor /robots.txt v prehliadači a súbor skontroluj.
5. 5Svoj zoznam občas skontroluj. Prevádzkovatelia boty pridávajú, premenúvajú a rušia.

Vytvor si pravidlá s Do4U

Nástroj Prehľadávače AI v robots.txt vedie zoznam prehľadávačov AI s prevádzkovateľom, účelom a odkazom na dokumentáciu, v troch skupinách: trénovanie modelov, vyhľadávanie a načítania na žiadosť používateľa. Pre každú skupinu alebo prehľadávač zvolíš: povoliť, blokovať alebo nemeniť, voliteľne pre vybrané cesty. Ak zadáš svoj web, Do4U prečíta tvoj robots.txt, ukáže pre každý prehľadávač AI stav predtým a potom a na koniec pridá označenú sekciu pre AI. Tvoje ostatné skupiny a riadky sitemap zostanú bez zmeny. Nástroje, ktorých prevádzkovatelia uvádzajú, že môžu robots.txt ignorovať, sú označené. Kód potom nový súbor znova skontroluje. Beží bez AI a je zadarmo.

Do4U vytvorí návrh, ty skontroluješ a rozhodneš. robots.txt zostáva prosbou: či sa ním prehľadávač riadi, Do4U skontrolovať nemôže.