Gerador e testador de robots.txt

Este gerador monta o arquivo robots.txt do seu site: escolha os caminhos bloqueados, as exceções, os robôs de IA que não podem coletar o conteúdo e o endereço do sitemap. Na mesma página, teste se um robô como o Googlebot pode acessar um endereço, com a mesma regra que o Google usa: vence a regra mais longa, e no empate o Allow.

Atualizado em · Por Leonardo Gaertner

Bloquear robôs de IA

Coletam conteúdo para treinar modelos

Buscam páginas para respostas com link (bloquear tira o site dessas respostas)

Abrem uma página quando alguém pede (alguns ignoram o robots.txt)

Entenda a diferença no guia robots.txt para IAs.

robots.txt

 
 
   
 
 
Testar um endereço
 
Confira se um robô pode acessar uma página com as regras acima. Para testar o robots.txt de outro site, cole o conteúdo dele.
   
 
   
 
        
 
 
 
 
 
 Achou um resultado errado ou tem uma sugestão? Avise por e-mail.

 
  
 
 
Como usar
 
     
  1. Liste os caminhos que os robôs não devem visitar, um por linha, e as exceções, se houver.
  2. Marque os robôs de IA que você quer bloquear e informe o endereço do sitemap.
  3. Copie ou baixe o arquivo e publique na raiz do site, em seusite.com.br/robots.txt. Use o teste para conferir as páginas importantes.
    4.  
 
 
 
 
 
Como funciona
 
O robots.txt é dividido em grupos. Cada grupo começa com uma ou mais linhas User-agent, com o nome do robô, e traz regras Disallow (bloqueia) e Allow (libera). O robô usa só o grupo com o nome dele; se não houver, usa o grupo *. Por isso os robôs de IA bloqueados ganham um grupo próprio, com Disallow: /.
Entre as regras do grupo, vale a que casa com o maior trecho do endereço, e no empate o Allow vence. O * substitui qualquer sequência de caracteres e o $ marca o fim do endereço: Disallow: /*.pdf$ bloqueia todos os PDFs. O robots.txt pede, mas não obriga: robôs mal-intencionados podem ignorá-lo, e ele não esconde páginas, que ainda podem aparecer na busca se outros sites apontarem para elas.
 
 
robots.txt típico
 
User-agent: *
Disallow: /admin/
Allow: /admin/ajuda/
User-agent: GPTBot
Disallow: /
Sitemap: https://seusite.com.br/sitemap.xml
 
 

Fonte:  RFC 9309: Robots Exclusion Protocol; Google Search Central: como o Google interpreta o robots.txt; OpenAI: robôs GPTBot e OAI-SearchBot 
 
 
Como conferimos esta ferramenta
 
O teste de endereço é comparado com o Protego, leitor de robots.txt que segue o padrão do Google, em mais de 5 mil combinações de regras, robôs e endereços. Veja como o site é testado.
 
 
 
 
 
 
Perguntas frequentes
 
 
 Bloquear robôs de IA tira o meu site do ChatGPT e de outras IAs? 
Depende do robô. GPTBot, ClaudeBot e Google-Extended coletam conteúdo para treinar modelos, e bloqueá-los não afeta a busca. OAI-SearchBot, Claude-SearchBot e PerplexityBot buscam páginas para respostas com link: bloqueá-los tira o site dessas respostas. Para aparecer nas IAs, deixe os de busca liberados.
 
 O robots.txt impede uma página de aparecer no Google? 
Não garante. Ele impede o rastreamento, mas a página pode aparecer sem descrição se outros sites apontarem para ela. Para tirar uma página da busca, deixe-a liberada no robots.txt e use a meta tag noindex.
 
 Onde coloco o arquivo robots.txt? 
Na raiz do domínio, com esse nome exato e em minúsculas: https://seusite.com.br/robots.txt. Cada subdomínio precisa do seu, e um robots.txt dentro de uma pasta é ignorado.
 
 Crawl-delay funciona? 
O Google ignora o Crawl-delay e ajusta a velocidade sozinho. Outros robôs, como o do Bing, respeitam. Por isso este gerador não inclui a diretiva; se precisar, acrescente a linha no grupo do robô.
 
 
 
 
 
 
 
Guias sobre este assunto
  
 
 
 
Outras ferramentas que podem ajudar
  
Ver tudo em SEO e marketing web