Crawlere AI și robots.txt: ce poți controla

Trei tipuri de boți AI

Nu toți boții AI fac aceeași treabă. Crawlerele de antrenare colectează conținut care poate fi folosit pentru antrenarea modelelor AI. Crawlerele de căutare construiesc un index din care funcțiile de căutare AI răspund la întrebări și trimit la surse. Boții de accesare la cerere deschid o pagină doar atunci când un utilizator întreabă ceva care o necesită. Marii operatori folosesc un token separat pentru fiecare sarcină, așa că poți decide pentru fiecare în parte. OpenAI, de exemplu, scrie că setările sale sunt independente: poți bloca antrenarea și totuși să apari în căutarea sa.

Ce tokenuri există

La 30 octombrie 2026, operatorii își descriu boții astfel:

• OpenAI: GPTBot colectează conținut care poate fi folosit pentru antrenarea modelelor sale de bază, OAI-SearchBot este folosit pentru funcțiile de căutare din ChatGPT, iar ChatGPT-User vizitează pagini pentru acțiuni pornite de un utilizator. OpenAI scrie că regulile din robots.txt s-ar putea să nu se aplice unor astfel de acțiuni.
• Anthropic: ClaudeBot colectează conținut care ar putea ajuta la antrenarea modelelor sale, Claude-SearchBot îmbunătățește rezultatele căutării, iar Claude-User deschide pagini atunci când o întrebare a unui utilizator o cere. Potrivit Anthropic, toți trei respectă robots.txt.
• Perplexity: PerplexityBot afișează site-uri și trimite la ele în rezultatele căutării Perplexity și, potrivit Perplexity, nu este folosit pentru a colecta conținut pentru modele AI de bază. Perplexity-User deschide pagini când întreabă un utilizator și, după cum scrie Perplexity, în general ignoră robots.txt.
• Google: Google-Extended nu este un crawler separat, ci un token în robots.txt. El controlează dacă conținutul pe care Google îl accesează poate fi folosit pentru antrenarea viitoarelor modele Gemini și pentru fundamentarea răspunsurilor (grounding) în Gemini. Potrivit Google, nu influențează includerea sau poziția în Căutarea Google.
• Apple: nici Applebot-Extended nu accesează pagini. El controlează dacă datele colectate de Applebot pot fi folosite pentru antrenarea modelelor AI generative ale Apple. Paginile care îl blochează pot apărea în continuare în rezultatele de căutare ale Apple.

Alți operatori, precum Common Crawl, Meta, Amazon și DuckDuckGo, își publică propriile tokenuri. Numele se schimbă, așa că verifică documentația operatorului.

Cum funcționează regulile

• Fișierul se află la rădăcina hostului, de exemplu https://example.com/robots.txt, și se aplică doar acelui protocol, host și port.
• Regulile stau în grupuri, sub rânduri User-agent. Potrivit Google, un crawler urmează doar grupul cel mai specific care i se potrivește. Dacă un grup îl numește, grupul pentru toate crawlerele (*) nu i se mai aplică.
• Numele agenților nu țin cont de majuscule. Într-un grup câștigă regula potrivită cea mai lungă; dacă allow și disallow sunt la fel de specifice, Google folosește allow.
• Google citește cel mult 500 KiB din fișier. Dacă robots.txt răspunde cu un cod de stare 4xx diferit de 429, Google tratează site-ul ca și cum nu ar exista fișierul, deci totul poate fi accesat.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

În acest exemplu, boții de antrenare ai celor trei operatori nu au voie să acceseze nimic, crawlerele de căutare pot accesa totul în afară de /admin/, iar toate celelalte crawlere urmează primul grup. Crawlerele de căutare repetă Disallow: /admin/ pentru că regulile pentru * nu li se mai aplică.

Ce înseamnă blocarea pentru vizibilitatea ta

Fiecare grup afectează un alt tip de vizibilitate. Dacă blochezi un crawler de antrenare, îi ceri operatorului să nu folosească conținutul tău pentru antrenare; Anthropic, de exemplu, descrie blocarea lui ClaudeBot ca semnal pentru materialul viitor. Dacă blochezi un crawler de căutare, paginile tale s-ar putea să nu apară în căutarea AI a acelui operator. OpenAI scrie că site-urile care blochează OAI-SearchBot nu sunt afișate în răspunsurile de căutare ChatGPT, dar pot apărea totuși ca linkuri de navigare. Dacă blochezi boții de accesare la cerere, asistenții care respectă regula nu îți pot deschide pagina când cineva întreabă despre ea.

Google este un caz special. Blocarea lui Google-Extended nu îți scoate site-ul din Căutarea Google. AI Overviews și AI Mode fac parte din Căutarea Google: potrivit Google, o pagină trebuie să fie indexată și eligibilă pentru afișarea cu un fragment, fără fișiere sau marcaje speciale. Pentru a limita ce arată Google dintr-o pagină, Google numește nosnippet, data-nosnippet, max-snippet și noindex. Acestea se aplică Căutării în ansamblu, nu doar funcțiilor AI.

robots.txt și llms.txt

Cele două fișiere au roluri diferite. robots.txt spune ce acces automat accepți. llms.txt este o propunere pentru un fișier Markdown care le oferă asistenților AI o scurtă imagine de ansamblu asupra celor mai importante pagini ale tale, mai ales în momentul în care cineva pune o întrebare; ghidul nostru despre llms.txt explică formatul. Potrivit llmstxt.org, llms.txt poate completa robots.txt oferind context pentru conținutul permis, dar nu îl înlocuiește. Decide mai întâi accesul în robots.txt.

O ordine rezonabilă

1. 1Decide pentru fiecare grup ce vrei: antrenare, căutare AI și accesări la cerere. O variantă posibilă: blochezi antrenarea, permiți căutarea și accesările la cerere.
2. 2Citește robots.txt-ul actual: ce grupuri există și ce blochează grupul pentru toate crawlerele.
3. 3Adaugă câte un grup pentru fiecare decizie și repetă regulile din grupul * care ar trebui să se aplice în continuare.
4. 4După publicare, deschide /robots.txt în browser și verifică fișierul.
5. 5Revizuiește-ți lista din când în când. Operatorii adaugă, redenumesc și retrag boți.

Creează-ți regulile cu Do4U

Instrumentul Crawlere IA în robots.txt ține o listă de crawlere AI cu operatorul, scopul și un link la documentație, în trei grupuri: antrenarea modelelor, căutare și accesări la cererea unui utilizator. Alegi pe grup sau pe crawler: permiți, blochezi sau lași neschimbat, opțional pentru anumite căi. Dacă îți introduci site-ul, Do4U îți citește robots.txt, arată pentru fiecare crawler AI starea înainte și după și adaugă la final o secțiune AI marcată. Celelalte grupuri și rândurile sitemap rămân cum sunt. Boții de accesare ai căror operatori spun că pot ignora robots.txt sunt marcați. Codul verifică apoi din nou noul fișier. Funcționează fără AI și este gratuit.

Do4U creează ciorna, tu verifici și decizi. robots.txt rămâne o rugăminte: dacă un crawler o respectă, Do4U nu poate verifica.