AI-crawlerek és robots.txt: mit szabályozhatsz

Az AI-botok három fajtája

Nem minden AI-bot végzi ugyanazt a feladatot. A tanító crawlerek olyan tartalmat gyűjtenek, amelyet AI-modellek tanításához használhatnak. A kereső crawlerek indexet építenek, amelyből az AI-keresési funkciók válaszolnak a kérdésekre, és forrásokra linkelnek. A felhasználói lekérők csak akkor nyitnak meg egy oldalt, ha egy felhasználó olyat kérdez, amihez szükség van rá. A nagy üzemeltetők minden feladathoz külön tokent használnak, így feladatonként dönthetsz. Az OpenAI például azt írja, hogy a beállításai függetlenek egymástól: tilthatod a tanítást, és mégis megjelenhetsz a keresőjében.

Milyen tokenek léteznek

2026. október 30-i állapot szerint az üzemeltetők így írják le a botjaikat:

• OpenAI: a GPTBot olyan tartalmat gyűjt, amelyet az alapmodelljei tanításához használhatnak, az OAI-SearchBot a ChatGPT keresési funkcióit szolgálja, a ChatGPT-User pedig a felhasználó által indított műveletekhez látogat meg oldalakat. Az OpenAI azt írja, hogy az ilyen műveletekre a robots.txt szabályai nem feltétlenül vonatkoznak.
• Anthropic: a ClaudeBot olyan tartalmat gyűjt, amely segíthet a modelljei tanításában, a Claude-SearchBot a keresési eredményeket javítja, a Claude-User pedig akkor kér le oldalakat, ha egy felhasználó kérdése ezt igényli. Az Anthropic szerint mindhárom tiszteletben tartja a robots.txt-t.
• Perplexity: a PerplexityBot weboldalakat mutat és linkel a Perplexity keresési eredményeiben, és a Perplexity szerint nem AI-alapmodellekhez gyűjt tartalmat. A Perplexity-User akkor kér le oldalakat, ha egy felhasználó kérdez, és a Perplexity szerint általában figyelmen kívül hagyja a robots.txt-t.
• Google: a Google-Extended nem külön crawler, hanem egy token a robots.txt-ben. Azt szabályozza, hogy a Google által feltérképezett tartalmat felhasználhatják-e a jövőbeli Gemini-modellek tanításához és a Gemini grounding funkciójához. A Google szerint nem befolyásolja a Google Keresőben való szereplést vagy a rangsorolást.
• Apple: az Applebot-Extended sem térképez fel oldalakat. Azt szabályozza, hogy az Applebot által feltérképezett adatokat felhasználhatják-e az Apple generatív AI-modelljeinek tanításához. Az ezt tiltó oldalak továbbra is megjelenhetnek az Apple keresési eredményeiben.

Más üzemeltetők, például a Common Crawl, a Meta, az Amazon és a DuckDuckGo, saját tokeneket tesznek közzé. A nevek változnak, ezért nézd meg az üzemeltető dokumentációját.

Hogyan működnek a szabályok

• A fájl a gazdagép gyökerében található, például https://example.com/robots.txt, és csak arra a protokollra, gazdagépre és portra vonatkozik.
• A szabályok User-agent sorok alatti csoportokban állnak. A Google szerint egy crawler csak a rá illeszkedő legspecifikusabb csoportot követi. Ha egy csoport megnevezi, a minden crawlerre vonatkozó csoport (*) már nem vonatkozik rá.
• Az agentnevekben nem számít a kis- és nagybetű. Egy csoporton belül a leghosszabb illeszkedő szabály nyer; ha az allow és a disallow egyformán specifikus, a Google az allow-t alkalmazza.
• A Google legfeljebb 500 KiB-ot olvas be a fájlból. Ha a robots.txt a 429-től eltérő 4xx állapotkóddal válaszol, a Google úgy kezeli az oldalt, mintha nem lenne fájl, vagyis minden feltérképezhető.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Ebben a példában három üzemeltető tanító botjai semmit sem kérhetnek le, a kereső crawlerek a /admin/ kivételével mindent lekérhetnek, és az összes többi crawler az első csoportot követi. A kereső crawlerek megismétlik a Disallow: /admin/ sort, mert a * szabályai már nem vonatkoznak rájuk.

Mit jelent a tiltás a láthatóságodra nézve

Minden csoport a láthatóság más fajtáját érinti. Ha egy tanító crawlert tiltasz, arra kéred az üzemeltetőjét, hogy ne használja a tartalmadat tanításra; az Anthropic például a ClaudeBot tiltását a jövőbeli anyagokra vonatkozó jelzésként írja le. Ha egy kereső crawlert tiltasz, az oldalaid nem feltétlenül jelennek meg az adott üzemeltető AI-keresésében. Az OpenAI azt írja, hogy az OAI-SearchBotot tiltó oldalak nem jelennek meg a ChatGPT keresési válaszaiban, de navigációs linkként még megjelenhetnek. Ha a felhasználói lekérőket tiltod, a szabályt tiszteletben tartó asszisztensek nem tudják megnyitni az oldaladat, amikor valaki rákérdez.

A Google különleges eset. A Google-Extended tiltása nem távolítja el az oldaladat a Google Keresőből. Az AI-áttekintések és az AI mód a Google Kereső részei: a Google szerint egy oldalnak indexeltnek kell lennie, és alkalmasnak arra, hogy kivonattal jelenjen meg, különleges fájlokra vagy jelölésre nincs szükség. Ha korlátozni akarod, mit mutat a Google egy oldalból, a Google a nosnippet, data-nosnippet, max-snippet és noindex lehetőségeket nevezi meg. Ezek a Kereső egészére vonatkoznak, nem csak az AI-funkciókra.

robots.txt és llms.txt

A két fájl más-más feladatot lát el. A robots.txt megmondja, milyen automatikus hozzáférést fogadsz el. Az llms.txt egy Markdown-fájlra vonatkozó javaslat, amely rövid áttekintést ad az AI-asszisztenseknek a legfontosabb oldalaidról, főként abban a pillanatban, amikor valaki kérdést tesz fel; az llms.txt-ről szóló útmutatónk elmagyarázza a formátumot. Az llmstxt.org szerint az llms.txt kiegészítheti a robots.txt-t azzal, hogy kontextust ad az engedélyezett tartalomhoz, de nem helyettesíti azt. A hozzáférésről először a robots.txt-ben dönts.

Egy ésszerű sorrend

1. 1Döntsd el csoportonként, mit szeretnél: tanítás, AI-keresés és felhasználói lekérések. Egy lehetséges választás: a tanítás tiltása, a keresés és a felhasználói lekérések engedélyezése.
2. 2Olvasd el a jelenlegi robots.txt-det: milyen csoportok vannak, és mit tilt a minden crawlerre vonatkozó csoport.
3. 3Minden döntéshez adj hozzá egy csoportot, és ismételd meg a * csoport azon szabályait, amelyeknek továbbra is érvényesnek kell lenniük.
4. 4Közzététel után nyisd meg a /robots.txt-t a böngészőben, és ellenőrizd a fájlt.
5. 5Időnként nézd át a listádat. Az üzemeltetők új botokat vezetnek be, átneveznek és kivezetnek régieket.

Állítsd össze a szabályaidat a Do4U-val

Az AI-crawlerek a robots.txt-ben eszköz listát vezet az AI-crawlerekről az üzemeltetővel, a céllal és a dokumentáció linkjével, három csoportban: modelltanítás, keresés, valamint felhasználói kérésre történő lekérések. Csoportonként vagy crawlerenként választasz: engedélyezés, tiltás vagy változatlanul hagyás, igény szerint kiválasztott útvonalakra. Ha megadod a weboldaladat, a Do4U beolvassa a robots.txt-det, minden AI-crawlerhez megmutatja az előtte és utána érvényes állapotot, és a végére egy megjelölt AI-szakaszt tesz. A többi csoportod és a sitemap-sorok változatlanok maradnak. Azok a lekérők, amelyeknek az üzemeltetője szerint figyelmen kívül hagyhatják a robots.txt-t, meg vannak jelölve. A kód ezután újra ellenőrzi az új fájlt. AI nélkül fut, és ingyenes.

A Do4U elkészíti a tervezetet, te ellenőrzöl és döntesz. A robots.txt kérés marad: azt, hogy egy crawler betartja-e, a Do4U nem tudja ellenőrizni.