# Gerador e testador de robots.txt > Este gerador monta o arquivo robots.txt do seu site: escolha os caminhos bloqueados, as exceções, os robôs de IA que não podem coletar o conteúdo e o endereço do sitemap. Na mesma página, teste se um robô como o Googlebot pode acessar um endereço, com a mesma regra que o Google usa: vence a regra mais longa, e no empate o Allow. - Endereço oficial: https://pradev.com.br/gerador-de-robots-txt - Categoria: SEO e marketing web - Tipo: Gerador - Atualizado em: 2026-10-02 - Autor: Leonardo Gaertner (https://pradev.com.br/sobre) - Preço: grátis, sem cadastro. O processamento acontece no navegador de quem usa. ## Como usar 1. Liste os caminhos que os robôs não devem visitar, um por linha, e as exceções, se houver. 2. Marque os robôs de IA que você quer bloquear e informe o endereço do sitemap. 3. Copie ou baixe o arquivo e publique na raiz do site, em seusite.com.br/robots.txt. Use o teste para conferir as páginas importantes. ## Como funciona O robots.txt é dividido em grupos. Cada grupo começa com uma ou mais linhas User-agent, com o nome do robô, e traz regras Disallow (bloqueia) e Allow (libera). O robô usa só o grupo com o nome dele; se não houver, usa o grupo *. Por isso os robôs de IA bloqueados ganham um grupo próprio, com Disallow: /. Entre as regras do grupo, vale a que casa com o maior trecho do endereço, e no empate o Allow vence. O * substitui qualquer sequência de caracteres e o $ marca o fim do endereço: Disallow: /*.pdf$ bloqueia todos os PDFs. O robots.txt pede, mas não obriga: robôs mal-intencionados podem ignorá-lo, e ele não esconde páginas, que ainda podem aparecer na busca se outros sites apontarem para elas. ### robots.txt típico ```text User-agent: * Disallow: /admin/ Allow: /admin/ajuda/ User-agent: GPTBot Disallow: / Sitemap: https://seusite.com.br/sitemap.xml ``` ### Como conferimos esta ferramenta O teste de endereço é comparado com o Protego, leitor de robots.txt que segue o padrão do Google, em mais de 5 mil combinações de regras, robôs e endereços. Método: https://pradev.com.br/como-testamos ## Perguntas frequentes ### Bloquear robôs de IA tira o meu site do ChatGPT e de outras IAs? Depende do robô. GPTBot, ClaudeBot e Google-Extended coletam conteúdo para treinar modelos, e bloqueá-los não afeta a busca. OAI-SearchBot, Claude-SearchBot e PerplexityBot buscam páginas para respostas com link: bloqueá-los tira o site dessas respostas. Para aparecer nas IAs, deixe os de busca liberados. ### O robots.txt impede uma página de aparecer no Google? Não garante. Ele impede o rastreamento, mas a página pode aparecer sem descrição se outros sites apontarem para ela. Para tirar uma página da busca, deixe-a liberada no robots.txt e use a meta tag noindex. ### Onde coloco o arquivo robots.txt? Na raiz do domínio, com esse nome exato e em minúsculas: https://seusite.com.br/robots.txt. Cada subdomínio precisa do seu, e um robots.txt dentro de uma pasta é ignorado. ### Crawl-delay funciona? O Google ignora o Crawl-delay e ajusta a velocidade sozinho. Outros robôs, como o do Bing, respeitam. Por isso este gerador não inclui a diretiva; se precisar, acrescente a linha no grupo do robô. ## Fontes - [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) - [Google Search Central: como o Google interpreta o robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt) - [OpenAI: robôs GPTBot e OAI-SearchBot](https://developers.openai.com/api/docs/bots) ## Guias - [robots.txt para IAs: bloquear o treino sem sumir das respostas](https://pradev.com.br/guias/robots-txt-para-ias-gptbot-claudebot): Quais robôs de IA coletam para treino e quais buscam páginas para respostas com link, e como montar o robots.txt sem sumir do ChatGPT e do Perplexity. ## Ferramentas relacionadas - [Gerador de Meta Tags SEO](https://pradev.com.br/gerador-de-meta-tags-seo): Gere as meta tags da página (title, description, canonical, Open Graph e Twitter), com contador de caracteres e prévia no Google. - [Gerador de Redirect 301](https://pradev.com.br/gerador-de-redirect-301): Gere redirecionamentos 301 para .htaccess (Apache), Nginx, Netlify, Cloudflare, Vercel e PHP a partir de uma lista. Avisa loops e correntes. - [Gerador de Slug](https://pradev.com.br/gerador-de-slug): Transforme títulos em slugs de URL: sem acentos, em minúsculas e com hífens. Vários títulos de uma vez, com limite de tamanho. Grátis. - [Gerador de UTM](https://pradev.com.br/gerador-de-utm): Monte links com parâmetros UTM (source, medium, campaign) para medir campanhas no Google Analytics, com padronização automática dos valores. - [Gerador de Link para WhatsApp](https://pradev.com.br/gerador-de-link-para-whatsapp): Crie um link do WhatsApp com mensagem pronta para colocar no Instagram, no site ou em anúncios, e baixe o QR Code. Grátis e sem cadastro. - [Gerador de QR Code](https://pradev.com.br/gerador-de-qr-code): Crie QR Codes de links e textos, com cores e nível de correção de erro, e baixe em PNG ou SVG. Grátis, sem cadastro e sem data de validade.