Crawlers de IA e robots.txt: o que podes controlar

Três tipos de bots de IA

Nem todos os bots de IA fazem o mesmo trabalho. Os crawlers de treino recolhem conteúdo que pode ser usado para treinar modelos de IA. Os crawlers de pesquisa criam um índice a partir do qual as funções de pesquisa com IA respondem a perguntas e indicam ligações para as fontes. Os bots de pedido do utilizador só abrem uma página quando um utilizador pergunta algo que a exige. Os grandes operadores usam um token separado para cada tarefa, por isso podes decidir tarefa a tarefa. A OpenAI, por exemplo, escreve que as suas definições são independentes: podes bloquear o treino e continuar a aparecer na sua pesquisa.

Que tokens existem

A 30 de outubro de 2026, os operadores descrevem os seus bots assim:

• OpenAI: o GPTBot recolhe conteúdo que pode ser usado para treinar os seus modelos de base, o OAI-SearchBot é usado nas funções de pesquisa do ChatGPT e o ChatGPT-User visita páginas para ações iniciadas por um utilizador. A OpenAI escreve que as regras do robots.txt podem não se aplicar a essas ações.
• Anthropic: o ClaudeBot recolhe conteúdo que pode ajudar a treinar os seus modelos, o Claude-SearchBot melhora os resultados de pesquisa e o Claude-User obtém páginas quando uma pergunta de um utilizador o exige. Segundo a Anthropic, os três respeitam o robots.txt.
• Perplexity: o PerplexityBot mostra sites nos resultados de pesquisa do Perplexity, com ligações, e, segundo a Perplexity, não é usado para recolher conteúdo para modelos de base de IA. O Perplexity-User obtém páginas quando um utilizador pergunta e, como escreve a Perplexity, em geral ignora o robots.txt.
• Google: o Google-Extended não é um crawler separado, mas um token no robots.txt. Controla se o conteúdo que a Google rastreia pode ser usado para treinar futuros modelos Gemini e para fundamentação (grounding) no Gemini. Segundo a Google, não afeta a inclusão nem a classificação na Pesquisa Google.
• Apple: o Applebot-Extended também não rastreia páginas. Controla se os dados rastreados pelo Applebot podem ser usados para treinar os modelos de IA generativa da Apple. As páginas que o bloqueiam podem continuar a aparecer nos resultados de pesquisa da Apple.

Outros operadores, como a Common Crawl, a Meta, a Amazon e o DuckDuckGo, publicam os seus próprios tokens. Os nomes mudam, por isso consulta a documentação do operador.

Como funcionam as regras

• O ficheiro fica na raiz do anfitrião, como https://example.com/robots.txt, e aplica-se apenas a esse protocolo, anfitrião e porta.
• As regras estão em grupos sob linhas User-agent. Segundo a Google, um crawler segue apenas o grupo mais específico que lhe corresponde. Se um grupo o nomear, o grupo para todos os crawlers (*) deixa de se lhe aplicar.
• Os nomes dos agentes não distinguem maiúsculas de minúsculas. Dentro de um grupo, ganha a regra correspondente mais longa; se allow e disallow forem igualmente específicas, a Google usa allow.
• A Google lê no máximo 500 KiB do ficheiro. Se o robots.txt responder com um estado 4xx diferente de 429, a Google trata o site como se não houvesse ficheiro, ou seja, tudo pode ser rastreado.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Neste exemplo, os bots de treino de três operadores não podem obter nada, os crawlers de pesquisa podem obter tudo exceto /admin/ e todos os outros crawlers seguem o primeiro grupo. Os crawlers de pesquisa repetem Disallow: /admin/ porque as regras para * deixam de se lhes aplicar.

O que o bloqueio significa para a tua visibilidade

Cada grupo afeta um tipo diferente de visibilidade. Se bloqueares um crawler de treino, pedes ao respetivo operador que não use o teu conteúdo para treino; a Anthropic, por exemplo, descreve o bloqueio do ClaudeBot como um sinal para material futuro. Se bloqueares um crawler de pesquisa, as tuas páginas podem não aparecer na pesquisa com IA desse operador. A OpenAI escreve que os sites que bloqueiam o OAI-SearchBot não são mostrados nas respostas de pesquisa do ChatGPT, mas podem continuar a aparecer como ligações de navegação. Se bloqueares os bots de pedido do utilizador, os assistentes que respeitam a regra não conseguem abrir a tua página quando alguém pergunta por ela.

A Google é um caso especial. Bloquear o Google-Extended não retira o teu site da Pesquisa Google. As Vistas gerais de IA e o Modo IA fazem parte da Pesquisa Google: segundo a Google, uma página tem de estar indexada e ser elegível para aparecer com um excerto, e não são precisos ficheiros nem marcação especiais. Para limitar o que a Google mostra de uma página, a Google indica nosnippet, data-nosnippet, max-snippet e noindex. Estes aplicam-se à Pesquisa no seu todo, não só às funções de IA.

robots.txt e llms.txt

Os dois ficheiros fazem trabalhos diferentes. O robots.txt diz que acessos automáticos aceitas. O llms.txt é uma proposta de ficheiro Markdown que dá aos assistentes de IA uma visão geral curta das tuas páginas mais importantes, sobretudo no momento em que alguém faz uma pergunta; o nosso guia sobre o llms.txt explica o formato. Segundo o llmstxt.org, o llms.txt pode complementar o robots.txt, dando contexto ao conteúdo permitido, mas não o substitui. Decide primeiro o acesso no robots.txt.

Uma ordem sensata

1. 1Decide por grupo o que queres: treino, pesquisa com IA e pedidos de utilizadores. Uma escolha possível: bloquear o treino, permitir a pesquisa e os pedidos de utilizadores.
2. 2Lê o teu robots.txt atual: que grupos existem e o que bloqueia o grupo para todos os crawlers.
3. 3Acrescenta um grupo para cada decisão e repete as regras do grupo * que devem continuar a aplicar-se.
4. 4Depois de publicares, abre /robots.txt no navegador e verifica o ficheiro.
5. 5Revê a tua lista de vez em quando. Os operadores acrescentam, mudam o nome e retiram bots.

Cria as tuas regras com o Do4U

A ferramenta Crawlers de IA no robots.txt mantém uma lista de crawlers de IA com operador, finalidade e uma ligação para a documentação, em três grupos: treino de modelos, pesquisa e pedidos feitos a pedido de um utilizador. Escolhes por grupo ou por crawler: permitir, bloquear ou deixar como está, opcionalmente para caminhos selecionados. Se indicares o teu site, o Do4U lê o teu robots.txt, mostra para cada crawler de IA o estado antes e depois e acrescenta uma secção de IA assinalada no fim. Os teus outros grupos e as linhas de sitemap ficam como estão. Os bots cujos operadores dizem que podem ignorar o robots.txt ficam assinalados. Depois, o código volta a verificar o novo ficheiro. Funciona sem IA e é grátis.

O Do4U cria o rascunho; tu verificas e decides. O robots.txt continua a ser um pedido: o Do4U não consegue verificar se um crawler o cumpre.