AI crawleri i robots.txt: čime možeš upravljati

Tri vrste AI botova

Ne obavlja svaki AI bot isti posao. Crawleri za treniranje prikupljaju sadržaj koji se može koristiti za treniranje AI modela. Crawleri za pretraživanje grade indeks iz kojeg funkcije AI pretraživanja odgovaraju na pitanja i povezuju na izvore. Alati za dohvaćanje za korisnike otvaraju stranicu samo kada korisnik pita nešto za što je ona potrebna. Veliki operateri za svaki posao koriste zaseban token, pa možeš odlučivati po poslu. OpenAI, na primjer, piše da su njegove postavke neovisne: možeš blokirati treniranje i i dalje se pojavljivati u njegovu pretraživanju.

Koji tokeni postoje

Na dan 30. listopada 2026. operateri svoje botove opisuju ovako:

• OpenAI: GPTBot prikuplja sadržaj koji se može koristiti za treniranje njegovih temeljnih modela, OAI-SearchBot koristi se za funkcije pretraživanja ChatGPT-a, a ChatGPT-User posjećuje stranice za radnje koje pokrene korisnik. OpenAI piše da se pravila iz robots.txt na takve radnje možda neće primjenjivati.
• Anthropic: ClaudeBot prikuplja sadržaj koji bi mogao pomoći u treniranju njegovih modela, Claude-SearchBot poboljšava rezultate pretraživanja, a Claude-User dohvaća stranice kada to zahtijeva pitanje korisnika. Prema Anthropicu, sva tri poštuju robots.txt.
• Perplexity: PerplexityBot prikazuje i povezuje web-mjesta u rezultatima pretraživanja Perplexityja i, prema Perplexityju, ne koristi se za prikupljanje sadržaja za temeljne AI modele. Perplexity-User dohvaća stranice kada korisnik pita i, kako Perplexity piše, općenito zanemaruje robots.txt.
• Google: Google-Extended nije zaseban crawler, nego token u robots.txt. Određuje smije li se sadržaj koji Google indeksira koristiti za treniranje budućih modela Gemini i za utemeljenje u Geminiju. Prema Googleu, ne utječe na uključivanje ni rangiranje u Google pretraživanju.
• Apple: ni Applebot-Extended ne pretražuje stranice. Određuje smiju li se podaci koje je Applebot prikupio koristiti za treniranje Appleovih generativnih AI modela. Stranice koje ga blokiraju i dalje se mogu pojavljivati u Appleovim rezultatima pretraživanja.

Drugi operateri, poput Common Crawla, Mete, Amazona i DuckDuckGoa, objavljuju vlastite tokene. Nazivi se mijenjaju, pa provjeri dokumentaciju operatera.

Kako pravila funkcioniraju

• Datoteka se nalazi u korijenu hosta, poput https://example.com/robots.txt, i vrijedi samo za taj protokol, host i port.
• Pravila stoje u skupinama ispod redaka User-agent. Prema Googleu, crawler slijedi samo najspecifičniju skupinu koja mu odgovara. Ako ga neka skupina navodi, skupina za sve crawlere (*) na njega se više ne primjenjuje.
• Nazivi agenata ne razlikuju velika i mala slova. Unutar skupine pobjeđuje najdulje odgovarajuće pravilo; ako su allow i disallow jednako specifični, Google koristi allow.
• Google čita najviše 500 KiB datoteke. Ako robots.txt odgovori statusom 4xx osim 429, Google web-mjesto tretira kao da datoteka ne postoji, pa se sve smije pretraživati.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

U ovom primjeru botovi za treniranje triju operatera ne smiju ništa dohvatiti, crawleri za pretraživanje smiju dohvatiti sve osim /admin/, a svi ostali crawleri slijede prvu skupinu. Crawleri za pretraživanje ponavljaju Disallow: /admin/ jer se pravila za * na njih više ne primjenjuju.

Što blokiranje znači za tvoju vidljivost

Svaka skupina utječe na drugu vrstu vidljivosti. Ako blokiraš crawler za treniranje, tražiš od njegova operatera da tvoj sadržaj ne koristi za treniranje; Anthropic, na primjer, blokiranje ClaudeBota opisuje kao signal za budući materijal. Ako blokiraš crawler za pretraživanje, tvoje se stranice možda neće pojavljivati u AI pretraživanju tog operatera. OpenAI piše da se web-mjesta koja blokiraju OAI-SearchBot ne prikazuju u odgovorima pretraživanja ChatGPT-a, ali se i dalje mogu pojaviti kao navigacijske poveznice. Ako blokiraš alate za dohvaćanje za korisnike, asistenti koji poštuju pravilo ne mogu otvoriti tvoju stranicu kada netko o njoj pita.

Google je poseban slučaj. Blokiranje Google-Extended ne uklanja tvoje web-mjesto iz Google pretraživanja. AI pregledi (AI Overviews) i AI način (AI Mode) dio su Google pretraživanja: prema Googleu, stranica mora biti indeksirana i prikladna za prikaz s isječkom, a posebne datoteke ili oznake nisu potrebne. Da bi ograničio što Google prikazuje sa stranice, Google navodi nosnippet, data-nosnippet, max-snippet i noindex. Oni se primjenjuju na pretraživanje u cjelini, a ne samo na AI funkcije.

robots.txt i llms.txt

Te dvije datoteke obavljaju različite poslove. robots.txt govori koji automatski pristup prihvaćaš. llms.txt je prijedlog za Markdown datoteku koja AI asistentima daje kratak pregled tvojih najvažnijih stranica, uglavnom u trenutku kada netko postavi pitanje; naš vodič o llms.txt objašnjava format. Prema llmstxt.org, llms.txt može nadopuniti robots.txt tako što daje kontekst za dopušteni sadržaj, ali ga ne zamjenjuje. Najprije odluči o pristupu u robots.txt.

Razuman redoslijed

1. 1Odluči po skupini što želiš: treniranje, AI pretraživanje i dohvaćanje za korisnike. Jedan mogući izbor: blokiraj treniranje, dopusti pretraživanje i dohvaćanje za korisnike.
2. 2Pročitaj svoj trenutačni robots.txt: koje skupine postoje i što blokira skupina za sve crawlere.
3. 3Dodaj skupinu za svaku odluku i ponovi pravila iz skupine * koja i dalje trebaju vrijediti.
4. 4Nakon objave otvori /robots.txt u pregledniku i provjeri datoteku.
5. 5Povremeno pregledaj svoj popis. Operateri dodaju, preimenuju i ukidaju botove.

Izradi svoja pravila uz Do4U

Alat AI crawleri u robots.txt vodi popis AI crawlera s operaterom, svrhom i poveznicom na dokumentaciju, u tri skupine: treniranje modela, pretraživanje i dohvaćanje na zahtjev korisnika. Biraš po skupini ili po crawleru: dopusti, blokiraj ili ne mijenjaj, po želji za odabrane putanje. Ako uneseš svoje web-mjesto, Do4U čita tvoj robots.txt, za svaki AI crawler pokazuje stanje prije i poslije i na kraj dodaje označen AI odjeljak. Tvoje ostale skupine i retci sa sitemapom ostaju kakvi jesu. Alati za dohvaćanje čiji operateri navode da mogu zanemariti robots.txt označeni su. Kôd zatim ponovno provjerava novu datoteku. Radi bez AI-ja i besplatan je.

Do4U izrađuje nacrt, a ti provjeravaš i odlučuješ. robots.txt ostaje molba: slijedi li ga crawler, Do4U ne može provjeriti.