Pajki UI in robots.txt: kaj lahko nadzoruješ

Tri vrste botov UI

Vsi boti UI ne opravljajo istega dela. Pajki za učenje zbirajo vsebino, ki se lahko uporabi za učenje modelov UI. Iskalni pajki gradijo indeks, iz katerega funkcije iskanja z UI odgovarjajo na vprašanja in se sklicujejo na vire. Pridobivalniki za uporabnike odprejo stran šele, ko uporabnik vpraša nekaj, za kar jo potrebujejo. Veliki upravljavci za vsako nalogo uporabljajo ločen žeton, zato se lahko odločiš za vsako nalogo posebej. OpenAI na primer piše, da so njegove nastavitve neodvisne: učenje lahko blokiraš in se vseeno pojavljaš v njegovem iskanju.

Kateri žetoni obstajajo

Na dan 30. oktobra 2026 upravljavci svoje bote opisujejo takole:

• OpenAI: GPTBot zbira vsebino, ki se lahko uporabi za učenje njegovih temeljnih modelov, OAI-SearchBot se uporablja za iskalne funkcije ChatGPT, ChatGPT-User pa obiskuje strani za dejanja, ki jih sproži uporabnik. OpenAI piše, da pravila robots.txt za taka dejanja morda ne veljajo.
• Anthropic: ClaudeBot zbira vsebino, ki bi lahko pomagala pri učenju njegovih modelov, Claude-SearchBot izboljšuje rezultate iskanja, Claude-User pa pridobiva strani, kadar to zahteva vprašanje uporabnika. Po navedbah podjetja Anthropic vsi trije upoštevajo robots.txt.
• Perplexity: PerplexityBot prikazuje spletna mesta v rezultatih iskanja Perplexity in nanje povezuje, po navedbah podjetja Perplexity pa se ne uporablja za zbiranje vsebine za temeljne modele UI. Perplexity-User pridobiva strani, ko uporabnik vpraša, in kot piše Perplexity, robots.txt praviloma ne upošteva.
• Google: Google-Extended ni ločen pajek, temveč žeton v robots.txt. Nadzoruje, ali se vsebina, ki jo Google preišče, sme uporabiti za učenje prihodnjih modelov Gemini in za utemeljevanje (grounding) v Gemini. Po navedbah Googla ne vpliva na vključitev ali razvrstitev v Iskanju Google.
• Apple: tudi Applebot-Extended ne preiskuje strani. Nadzoruje, ali se podatki, ki jih je zbral Applebot, smejo uporabiti za učenje Applovih generativnih modelov UI. Strani, ki ga blokirajo, se lahko še vedno pojavljajo v Applovih rezultatih iskanja.

Drugi upravljavci, kot so Common Crawl, Meta, Amazon in DuckDuckGo, objavljajo svoje žetone. Imena se spreminjajo, zato preveri dokumentacijo upravljavca.

Kako delujejo pravila

• Datoteka je v korenu gostitelja, na primer https://example.com/robots.txt, in velja samo za ta protokol, gostitelja in vrata.
• Pravila so v skupinah pod vrsticami User-agent. Po navedbah Googla pajek sledi le najbolj specifični skupini, ki se z njim ujema. Če ga skupina imenuje, skupina za vse pajke (*) zanj ne velja več.
• Pri imenih agentov velike in male črke niso pomembne. Znotraj skupine zmaga najdaljše ujemajoče se pravilo; če sta allow in disallow enako specifična, Google uporabi allow.
• Google prebere največ 500 KiB datoteke. Če robots.txt odgovori s stanjem 4xx, ki ni 429, Google spletno mesto obravnava, kot da datoteke ni, zato se sme preiskati vse.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

V tem primeru boti za učenje treh upravljavcev ne smejo pridobiti ničesar, iskalni pajki smejo pridobiti vse razen /admin/, vsi drugi pajki pa sledijo prvi skupini. Iskalni pajki ponovijo Disallow: /admin/, ker pravila za * zanje ne veljajo več.

Kaj blokiranje pomeni za tvojo vidnost

Vsaka skupina vpliva na drugo vrsto vidnosti. Če blokiraš pajka za učenje, njegovega upravljavca prosiš, naj tvoje vsebine ne uporablja za učenje; Anthropic na primer blokiranje ClaudeBota opisuje kot signal za prihodnje gradivo. Če blokiraš iskalnega pajka, se tvoje strani morda ne bodo pojavljale v iskanju z UI tega upravljavca. OpenAI piše, da spletna mesta, ki blokirajo OAI-SearchBot, niso prikazana v odgovorih iskanja ChatGPT, lahko pa se še vedno pojavijo kot navigacijske povezave. Če blokiraš pridobivalnike za uporabnike, asistenti, ki pravilo upoštevajo, ne morejo odpreti tvoje strani, ko kdo vpraša o njej.

Google je poseben primer. Blokiranje Google-Extended tvojega spletnega mesta ne odstrani iz Iskanja Google. AI Overviews in AI Mode sta del Iskanja Google: po navedbah Googla mora biti stran indeksirana in primerna za prikaz z izrezkom, posebne datoteke ali označevanje pa niso potrebni. Za omejitev tega, kar Google prikaže s strani, Google navaja nosnippet, data-nosnippet, max-snippet in noindex. Ti veljajo za Iskanje kot celoto, ne le za funkcije UI.

robots.txt in llms.txt

Datoteki opravljata različni nalogi. robots.txt pove, kateri samodejni dostop sprejemaš. llms.txt je predlog za datoteko Markdown, ki asistentom UI da kratek pregled tvojih najpomembnejših strani, predvsem v trenutku, ko kdo postavi vprašanje; naš vodnik o llms.txt pojasni obliko. Po navedbah llmstxt.org lahko llms.txt dopolnjuje robots.txt, saj daje kontekst za dovoljeno vsebino, ne nadomešča pa ga. O dostopu najprej odloči v robots.txt.

Smiseln vrstni red

1. 1Za vsako skupino se odloči, kaj želiš: učenje, iskanje z UI in pridobivanje za uporabnike. Ena od možnih izbir: blokiraj učenje, dovoli iskanje in pridobivanje za uporabnike.
2. 2Preberi svoj trenutni robots.txt: katere skupine obstajajo in kaj blokira skupina za vse pajke.
3. 3Za vsako odločitev dodaj skupino in ponovi pravila iz skupine *, ki naj še naprej veljajo.
4. 4Po objavi odpri /robots.txt v brskalniku in preveri datoteko.
5. 5Svoj seznam občasno preglej. Upravljavci bote dodajajo, preimenujejo in ukinjajo.

Sestavi svoja pravila z Do4U

Orodje Pajki UI v robots.txt vodi seznam pajkov UI z upravljavcem, namenom in povezavo do dokumentacije, v treh skupinah: učenje modelov, iskanje in pridobivanje na zahtevo uporabnika. Za vsako skupino ali vsakega pajka izbereš: dovoli, blokiraj ali pusti nespremenjeno, po želji za izbrane poti. Če vneseš svoje spletno mesto, Do4U prebere tvoj robots.txt, za vsakega pajka UI pokaže stanje pred in po ter na koncu doda označen razdelek za UI. Tvoje druge skupine in vrstice sitemap ostanejo, kakršne so. Pridobivalniki, katerih upravljavci pravijo, da lahko robots.txt prezrejo, so označeni. Koda nato novo datoteko še enkrat preveri. Deluje brez UI in je brezplačno.

Do4U sestavi osnutek, ti pa preveriš in odločiš. robots.txt ostaja prošnja: ali ji pajek sledi, Do4U ne more preveriti.