Saltar para o conteúdo
Começar

Crawlers de IA no robots.txt

O Do4U cria as regras para crawlers de IA no teu robots.txt. Escolhes por grupo ou por crawler: treino de modelos e conjuntos de dados, índice de pesquisa e de respostas, e acessos a pedido de um utilizador. Cada crawler da lista vem com o seu operador, a sua finalidade e uma ligação para a documentação do operador. Se introduzires o teu site, o Do4U lê o teu robots.txt atual, mostra que crawlers de IA ele permite ou bloqueia hoje e acrescenta no fim uma secção de IA claramente assinalada. Os teus outros grupos e linhas de sitemap ficam como estão. O código lê depois novamente o novo ficheiro e verifica se cada crawler tem as regras que escolheste. Tudo acontece em código, sem IA, e o ficheiro é criado no teu navegador.

Experimenta agora Preços

Grátis e sem conta: Verificação de crawlers de IA no robots.txt →

Para quem é

Para donos de sites, agências e programadores que querem decidir que crawlers de IA podem usar o seu conteúdo, sem estragar as regras que já têm.

Utilizações típicas

  • Bloquear crawlers de treino de IA e continuar a ser encontrado na pesquisa com IA
  • Verificar que crawlers de IA o teu robots.txt permite hoje
  • Acrescentar uma secção de IA a um robots.txt existente sem perder regras
  • Permitir crawlers de IA apenas para caminhos selecionados

Exemplo

Entrada

Site: https://example.com robots.txt atual: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Escolha: bloquear treino, permitir pesquisa, permitir acessos de utilizadores

Resultado

GPTBot: bloqueado (regras próprias) → bloqueado ClaudeBot: parcialmente bloqueado (regras para todos) → bloqueado OAI-SearchBot: parcialmente bloqueado (regras para todos) → parcialmente bloqueado (regras próprias, /admin/ continua bloqueado) A regra para todos os crawlers e a linha do sitemap ficam inalteradas. O antigo grupo GPTBot fica no ficheiro como comentário, e a nova secção de IA é acrescentada no fim.

Um exemplo fixo, abreviado. Os resultados reais são gerados por IA: verifica-os.

Preço e limites

Preço
grátis, sem registo
Disponível com
Grátis, Com pacote
Limite de entrada
Até 60 000 carateres por ficheiro

Privacidade

Processado nos nossos próprios servidores na UE (Polónia). As entradas e os resultados são eliminados após 7 dias (Grátis) ou 30 dias (pacotes), ou logo depois de veres o resultado se escolheres não os guardar. As imagens são eliminadas logo após o processamento.

Na API

Nome da ferramenta: ai_robots_txt. Cria uma tarefa com POST /api/v1/jobs e obtém o resultado com GET /api/v1/jobs/{id}. Encontras a tua chave de API na tua conta.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Documentação completa da API →

Perguntas e respostas

O robots.txt trava mesmo os crawlers de IA?

Nenhum ficheiro pode obrigar um crawler. Seguir o robots.txt é voluntário, e cada crawler decide por si se cumpre as regras. Alguns fetchers que atuam a pedido de um utilizador podem ignorar o robots.txt, como dizem os seus operadores. O Do4U assinala-os na lista.

As minhas outras regras e o meu sitemap são mantidos?

Sim. O Do4U mantém todos os outros grupos e todas as linhas de sitemap. Só as linhas que indicam um crawler sobre o qual decides agora passam a comentários, para que as regras antigas e as novas não se misturem. A secção de IA fica claramente assinalada no fim do ficheiro, e uma segunda execução substitui-a.

Bloquear o Google-Extended remove o meu site da Google?

Não. O Google-Extended não é um crawler, mas um token no robots.txt. Segundo a Google, controla a utilização do teu conteúdo para os modelos Gemini e não afeta a Pesquisa Google. O Applebot-Extended funciona de forma semelhante para a Apple.

O meu texto fica guardado?

Só o tempo necessário: 7 dias no plano Free, 30 dias com um pacote – ou nunca, se preferires não guardar. O tratamento é feito nos nossos próprios servidores na UE (Polónia).

Posso usar o resultado de imediato?

Os resultados são gerados por IA. Lê-os com atenção antes de os publicares ou enviares.

Ferramentas relacionadas

  • Gerador de llms.txt

    Lê o teu site e recebe um ficheiro llms.txt pronto para assistentes de IA: o nome do teu site, um breve resumo e as tuas páginas mais importantes, cada uma com uma frase. O código cria e verifica o ficheiro; tu descarregas ou copias.

  • Verificação de visibilidade para IA

    Descobre até que ponto uma página responde às perguntas que as pessoas costumam fazer sobre o seu tema. A IA propõe as perguntas e avalia cada resposta com uma citação exata da tua página; o código verifica as citações e calcula a cobertura. Vês também as respostas em falta e dicas sobre marcação de FAQ, llms.txt e robots.txt. Sem promessas de posicionamento.

Todas as ferramentas →