Crawler AI e robots.txt: cosa puoi controllare

Tre tipi di bot AI

Non tutti i bot AI fanno lo stesso lavoro. I crawler di addestramento raccolgono contenuti che possono essere usati per addestrare modelli di IA. I crawler di ricerca costruiscono un indice da cui le funzioni di ricerca IA rispondono alle domande e rimandano alle fonti. I fetcher per gli utenti aprono una pagina solo quando un utente chiede qualcosa che la richiede. I grandi operatori usano un token diverso per ogni compito, così puoi decidere compito per compito. OpenAI, per esempio, scrive che le sue impostazioni sono indipendenti: puoi bloccare l’addestramento e continuare a comparire nella sua ricerca.

Quali token esistono

Al 30 ottobre 2026 gli operatori descrivono così i loro bot:

• OpenAI: GPTBot raccoglie contenuti che possono essere usati per addestrare i suoi modelli di base, OAI-SearchBot serve per le funzioni di ricerca di ChatGPT e ChatGPT-User visita pagine per azioni avviate da un utente. OpenAI scrive che le regole di robots.txt potrebbero non valere per queste azioni.
• Anthropic: ClaudeBot raccoglie contenuti che potrebbero aiutare ad addestrare i suoi modelli, Claude-SearchBot migliora i risultati di ricerca e Claude-User recupera pagine quando lo richiede la domanda di un utente. Secondo Anthropic, tutti e tre rispettano robots.txt.
• Perplexity: PerplexityBot mostra e linka siti web nei risultati di ricerca di Perplexity e, secondo Perplexity, non viene usato per raccogliere contenuti per modelli di base di IA. Perplexity-User recupera pagine quando un utente lo chiede e, come scrive Perplexity, in genere ignora robots.txt.
• Google: Google-Extended non è un crawler a sé, ma un token in robots.txt. Stabilisce se i contenuti che Google scansiona possono essere usati per addestrare i futuri modelli Gemini e per il grounding in Gemini. Secondo Google, non influisce sull’inclusione né sul posizionamento nella Ricerca Google.
• Apple: nemmeno Applebot-Extended scansiona pagine. Stabilisce se i dati scansionati da Applebot possono essere usati per addestrare i modelli di IA generativa di Apple. Le pagine che lo bloccano possono comunque comparire nei risultati di ricerca di Apple.

Altri operatori, come Common Crawl, Meta, Amazon e DuckDuckGo, pubblicano i propri token. I nomi cambiano, quindi controlla la documentazione dell’operatore.

Come funzionano le regole

• Il file si trova nella radice dell’host, per esempio https://example.com/robots.txt, e vale solo per quel protocollo, host e porta.
• Le regole stanno in gruppi sotto righe User-agent. Secondo Google, un crawler segue solo il gruppo più specifico che lo riguarda. Se un gruppo lo nomina, il gruppo per tutti i crawler (*) non vale più per lui.
• I nomi degli agent non distinguono tra maiuscole e minuscole. All’interno di un gruppo vince la regola corrispondente più lunga; se allow e disallow sono ugualmente specifiche, Google usa allow.
• Google legge al massimo 500 KiB del file. Se robots.txt risponde con uno stato 4xx diverso da 429, Google tratta il sito come se il file non esistesse, quindi si può scansionare tutto.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

In questo esempio i bot di addestramento di tre operatori non possono recuperare nulla, i crawler di ricerca possono recuperare tutto tranne /admin/ e tutti gli altri crawler seguono il primo gruppo. I crawler di ricerca ripetono Disallow: /admin/ perché le regole per * non valgono più per loro.

Cosa significa un blocco per la tua visibilità

Ogni gruppo incide su un tipo diverso di visibilità. Se blocchi un crawler di addestramento, chiedi al suo operatore di non usare i tuoi contenuti per l’addestramento; Anthropic, per esempio, descrive il blocco di ClaudeBot come un segnale per il materiale futuro. Se blocchi un crawler di ricerca, le tue pagine potrebbero non comparire nella ricerca IA di quell’operatore. OpenAI scrive che i siti che bloccano OAI-SearchBot non vengono mostrati nelle risposte di ricerca di ChatGPT, ma possono comunque comparire come link di navigazione. Se blocchi i fetcher per gli utenti, gli assistenti che rispettano la regola non possono aprire la tua pagina quando qualcuno chiede di essa.

Google è un caso a parte. Bloccare Google-Extended non toglie il tuo sito dalla Ricerca Google. AI Overviews e AI Mode fanno parte della Ricerca Google: secondo Google, una pagina deve essere indicizzata e idonea a essere mostrata con uno snippet, e non servono file o markup speciali. Per limitare ciò che Google mostra di una pagina, Google indica nosnippet, data-nosnippet, max-snippet e noindex. Valgono per la Ricerca nel suo insieme, non solo per le funzioni IA.

robots.txt e llms.txt

I due file fanno lavori diversi. robots.txt dice quali accessi automatici accetti. llms.txt è una proposta per un file Markdown che dà agli assistenti IA una breve panoramica delle tue pagine più importanti, soprattutto nel momento in cui qualcuno fa una domanda; la nostra guida su llms.txt spiega il formato. Secondo llmstxt.org, llms.txt può completare robots.txt dando contesto ai contenuti permessi, ma non lo sostituisce. Decidi prima l’accesso in robots.txt.

Un ordine sensato

1. 1Decidi per ogni gruppo cosa vuoi: addestramento, ricerca IA e richieste degli utenti. Una scelta possibile: bloccare l’addestramento, permettere ricerca e richieste degli utenti.
2. 2Leggi il tuo robots.txt attuale: quali gruppi esistono e cosa blocca il gruppo per tutti i crawler.
3. 3Aggiungi un gruppo per ogni decisione e ripeti le regole del gruppo * che devono continuare a valere.
4. 4Dopo la pubblicazione apri /robots.txt nel browser e controlla il file.
5. 5Rivedi il tuo elenco ogni tanto. Gli operatori aggiungono, rinominano e ritirano bot.

Crea le tue regole con Do4U

Lo strumento Crawler AI nel robots.txt tiene un elenco di crawler AI con operatore, scopo e link alla documentazione, in tre gruppi: addestramento dei modelli, ricerca e richieste su iniziativa di un utente. Scegli per gruppo o per crawler: permettere, bloccare o lasciare invariato, se vuoi solo per percorsi scelti. Se inserisci il tuo sito web, Do4U legge il tuo robots.txt, mostra per ogni crawler AI lo stato prima e dopo e aggiunge alla fine una sezione IA contrassegnata. Gli altri tuoi gruppi e le righe della sitemap restano come sono. I fetcher i cui operatori dicono che potrebbero ignorare robots.txt sono segnalati. Il codice poi controlla di nuovo il nuovo file. Funziona senza IA ed è gratuito.

Do4U crea la bozza, tu controlli e decidi. robots.txt resta una richiesta: se un crawler la segue, Do4U non può verificarlo.