Vai al contenuto
Inizia

Crawler AI nel robots.txt

Do4U crea le regole per i crawler IA nel tuo robots.txt. Puoi scegliere per gruppo o per crawler: addestramento modelli e dataset, ricerca e indicizzazione delle risposte, e recupero su richiesta dell'utente. Ogni crawler nell'elenco include il suo operatore, il suo scopo e un link alla documentazione dell'operatore. Se inserisci il tuo sito web, Do4U leggerà il tuo attuale robots.txt, mostrerà quali crawler IA permette o blocca oggi e aggiungerà una sezione IA chiaramente indicata alla fine. I tuoi altri gruppi e le righe del sitemap rimarranno invariati. Il codice leggerà quindi nuovamente il nuovo file e verificherà che ogni crawler abbia le regole che hai scelto. Tutto avviene tramite codice, senza IA, e il file viene creato nel tuo browser.

Provalo ora Prezzi

Gratis e senza account: Controllo crawler IA per robots.txt →

A chi è rivolto

Per proprietari di siti web, agenzie e sviluppatori che vogliono decidere quali crawler IA possono utilizzare i loro contenuti, senza violare le regole già esistenti.

Usi tipici

  • Blocca i crawler per l'addestramento IA e fatti trovare comunque nella ricerca IA
  • Controlla quali crawler IA il tuo robots.txt permette oggi
  • Aggiungi una sezione IA a un robots.txt esistente senza perdere le regole
  • Permetti i crawler IA solo per percorsi selezionati

Esempio

Input

Sito web: https://example.com Robots.txt attuale: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Scelta: blocca addestramento, permetti ricerca, permetti recupero utente

Risultato

GPTBot: bloccato (regole proprie) → bloccato ClaudeBot: parzialmente bloccato (regole per tutti) → bloccato OAI-SearchBot: parzialmente bloccato (regole per tutti) → parzialmente bloccato (regole proprie, /admin/ resta bloccato) La regola per tutti i crawler e la riga del sitemap rimangono invariate. Il vecchio gruppo GPTBot rimane nel file come commento e la nuova sezione IA viene aggiunta alla fine.

Un esempio fisso, abbreviato. I risultati reali sono generati dall'IA: controllali.

Prezzo e limiti

Prezzo
gratuito, senza registrazione
Disponibile con
Gratis, Con pacchetto
Limite di input
Fino a 60 000 caratteri per file

Privacy

Elaborati sui nostri server in UE (Polonia). Gli input e i risultati vengono eliminati dopo 7 giorni (Gratis) o 30 giorni (pacchetti), o subito dopo la visualizzazione se scegli di non memorizzarli. Le immagini vengono eliminate subito dopo l'elaborazione.

Nell'API

Nome dello strumento: ai_robots_txt. Crea un lavoro con POST /api/v1/jobs e recupera il risultato con GET /api/v1/jobs/{id}. Trovi la tua chiave API nel tuo account.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Documentazione API completa →

Domande e risposte

Il robots.txt ferma davvero i crawler IA?

Nessun file può forzare un crawler. Seguire il robots.txt è volontario e ogni crawler decide autonomamente se obbedire alle regole. Alcuni recuperatori che agiscono su richiesta dell'utente potrebbero ignorare il robots.txt, come dichiarato dai loro operatori. Do4U li segnala nell'elenco.

Le mie altre regole e il mio sitemap verranno mantenuti?

Sì. Do4U mantiene tutti gli altri gruppi e tutte le righe del sitemap. Solo le righe che nominano un crawler su cui decidi ora diventeranno commenti, in modo che le vecchie e le nuove regole non si mescolino. La sezione IA è chiaramente indicata alla fine del file e una seconda esecuzione la sostituirà.

Bloccare Google-Extended rimuove il mio sito da Google?

No. Google-Extended non è un crawler ma un token in robots.txt. Secondo Google, controlla l'uso dei tuoi contenuti per i modelli Gemini e non influisce su Google Search. Applebot-Extended funziona in modo simile per Apple.

Il mio testo viene memorizzato?

Solo per il tempo necessario: 7 giorni con il piano Free, 30 giorni con un pacchetto – o per nulla, se scegli di non memorizzarlo. L'elaborazione avviene sui nostri server in UE (Polonia).

Posso usare il risultato subito?

I risultati sono generati dall'IA. Per favore, leggili prima di pubblicarli o inviarli.

Strumenti correlati

  • Generatore llms.txt

    Leggi il tuo sito web e ottieni un file llms.txt pronto per gli assistenti AI: il nome del tuo sito, un breve riassunto e le tue pagine più importanti, ognuna con una frase. Il codice crea e controlla il file; tu lo scarichi o lo copi.

  • Verifica visibilità IA

    Scopri quanto bene una pagina risponde alle domande che le persone solitamente pongono sul suo argomento. L'IA propone le domande e valuta ogni risposta con una citazione esatta dalla tua pagina; il codice controlla le citazioni e calcola la copertura. Vedrai anche le risposte mancanti e suggerimenti sull'annotazione FAQ, llms.txt e robots.txt. Nessuna promessa di ranking.

Tutti gli strumenti →