robots.txt para IAs: bloquear o treino sem sumir das respostas

Os três tipos de robô de IA

Quando se fala em "bloquear as IAs", há três coisas diferentes em jogo, e cada empresa usa um robô (um user-agent) para cada uma:

• Treino: coleta páginas para treinar os próximos modelos. Bloquear não tira o site da busca: só pede que o conteúdo novo fique fora dos dados de treino.
• Busca: indexa páginas para que a IA responda com link para a fonte, como a busca do ChatGPT e o Perplexity. Bloquear tira o site dessas respostas, que são justamente as que trazem visitas.
• Acesso a pedido: abre uma página na hora em que alguém pede ("resuma este link"). Como a ação parte de uma pessoa, algumas empresas não aplicam o robots.txt a esses acessos.

Por isso não existe um único "robô do ChatGPT": bloquear o GPTBot não tira o site da busca do ChatGPT, e liberar o OAI-SearchBot não libera o treino. Cada nome é independente.

Os robôs de cada empresa

OpenAI (ChatGPT)

• GPTBot: treino.
• OAI-SearchBot: busca do ChatGPT. Sites bloqueados não aparecem nas respostas da busca, embora ainda possam surgir como link de navegação. A OpenAI informa que leva cerca de 24 horas para aplicar uma mudança no robots.txt.
• ChatGPT-User: acesso a pedido de quem usa o ChatGPT. A documentação da OpenAI avisa que, por partir do usuário, as regras do robots.txt podem não valer.

Anthropic (Claude)

• ClaudeBot: treino.
• Claude-SearchBot: busca do Claude.
• Claude-User: acesso a pedido. A Anthropic informa que os três respeitam o robots.txt, inclusive o Crawl-delay.

Google, Apple, Perplexity e outros

• Google-Extended: não é um robô, é um nome que o Googlebot consulta. Bloqueá-lo pede que o conteúdo não seja usado para treinar o Gemini nem para embasar respostas dele, sem nenhum efeito na Pesquisa Google, inclusive nos AI Overviews, que usam o índice normal da busca.
• Applebot-Extended: mesma ideia para a Apple. O Applebot continua rastreando para a Siri e o Spotlight; o Extended só diz se o conteúdo pode treinar os modelos da Apple.
• PerplexityBot: índice do Perplexity. O Perplexity-User, que abre páginas a pedido, em geral não segue o robots.txt.
• meta-externalagent (Meta), CCBot (Common Crawl, base pública usada para treinar muitos modelos) e Bytespider (ByteDance): coleta para treino.

Os nomes mudam de tempos em tempos e novas empresas aparecem. Confira a página oficial de cada uma (nas fontes, no fim do guia) antes de publicar.

O arquivo mais comum: bloquear só o treino

Para quem quer aparecer nas respostas das IAs, que citam a fonte com link, mas não quer o conteúdo usado em treino, o arquivo bloqueia os robôs de treino e deixa o resto como está. Várias linhas User-agent seguidas formam um único grupo, então o Disallow: / vale para todos eles:

# Bloqueia a coleta para treino de IA e mantém o site
# na busca do Google e nas respostas com link das IAs.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# Todos os outros, inclusive OAI-SearchBot, Claude-SearchBot e PerplexityBot
User-agent: *
Disallow: /admin/

Sitemap: https://seusite.com.br/sitemap.xml

Um detalhe que pega muita gente: o robô usa só o grupo com o nome dele. O GPTBot, aqui, segue o Disallow: / e ignora o grupo *. Se você criar um grupo para um robô de busca, repita nele as regras do * que também devem valer, como o Disallow: /admin/. O gerador de robots.txt monta o arquivo e tem um teste para conferir o que cada robô pode acessar.

Bloquear todas as IAs e continuar no Google

Para tirar o conteúdo de treino, busca e acesso a pedido das IAs, liste os três tipos de robô. Googlebot e Bingbot ficam de fora da lista, então o site continua na busca normal:

# Bloqueia treino, busca e acesso a pedido de usuários das IAs.
# O site continua no Google e no Bing.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Há dois limites. O primeiro: os AI Overviews do Google usam o índice da busca, então não saem com o robots.txt sem tirar o site do Google. Para limitar o trecho mostrado, use as meta tags nosnippet ou max-snippet, que o gerador de meta tags ajuda a montar, ou o atributo data-nosnippet em partes da página. O segundo: o robots.txt é um pedido, não uma trava. Robôs que o ignoram só param com bloqueio no servidor ou no firewall, pelo user-agent ou pelas faixas de IP que as empresas publicam.

Quem visita o seu site: conferindo os logs

Antes de decidir, vale ver quais robôs de IA já passam pelo site. O log de acesso do Nginx ou do Apache guarda o user-agent de cada pedido, e o nome do robô aparece no meio dele, como em "compatible; GPTBot/1.2". Os códigos abaixo contam as visitas de cada um:

// Conta as visitas de robôs de IA em um log de acesso no formato combinado
// (Nginx e Apache), em que o user-agent é o último campo entre aspas.
const ROBOS = ['GPTBot', 'OAI-SearchBot', 'ChatGPT-User', 'ClaudeBot', 'Claude-SearchBot', 'Claude-User', 'PerplexityBot', 'Perplexity-User', 'meta-externalagent', 'CCBot', 'Bytespider', 'Applebot'];
const PADROES = ROBOS.map((r) => [r, new RegExp(`\\b${r}\\b`, 'i')]);

function contarRobosIa(log) {
  const contagem = {};
  for (const linha of log.split('\n')) {
    const ua = linha.match(/"([^"]*)"\s*$/)?.[1];
    if (!ua) continue;
    // O nome aparece no meio do user-agent: "...; compatible; GPTBot/1.2; ..."
    const achado = PADROES.find(([, p]) => p.test(ua));
    if (achado) contagem[achado[0]] = (contagem[achado[0]] ?? 0) + 1;
  }
  return contagem;
}

// Node.js: contarRobosIa(require('fs').readFileSync('/var/log/nginx/access.log', 'utf8'))
console.log(contarRobosIa('1.2.3.4 - - [02/Oct/2026:10:00:00 +0000] "GET / HTTP/1.1" 200 512 "-" "Mozilla/5.0; compatible; GPTBot/1.2; +https://openai.com/gptbot"')); // { GPTBot: 1 }

import re
from collections import Counter

# Conta as visitas de robôs de IA em um log de acesso no formato combinado
# (Nginx e Apache), em que o user-agent é o último campo entre aspas.
ROBOS = ["GPTBot", "OAI-SearchBot", "ChatGPT-User", "ClaudeBot", "Claude-SearchBot", "Claude-User",
         "PerplexityBot", "Perplexity-User", "meta-externalagent", "CCBot", "Bytespider", "Applebot"]
PADROES = [(r, re.compile(rf"\b{re.escape(r)}\b", re.I)) for r in ROBOS]


def contar_robos_ia(log: str) -> Counter:
    contagem = Counter()
    for linha in log.splitlines():
        m = re.search(r'"([^"]*)"\s*$', linha)
        if not m:
            continue
        robo = next((r for r, p in PADROES if p.search(m.group(1))), None)
        if robo:
            contagem[robo] += 1
    return contagem


# with open("/var/log/nginx/access.log", encoding="utf-8", errors="replace") as f:
#     print(contar_robos_ia(f.read()).most_common())

O user-agent pode ser falsificado: qualquer um pode se apresentar como GPTBot. Se a contagem servir para uma decisão importante, confira se o IP pertence às faixas publicadas pela empresa. Se o site usa a Cloudflare, olhe também o painel: ela tem opções próprias para bloquear robôs de IA, que valem antes do robots.txt e podem estar ligadas sem você saber.

Como decidir

• Site que vive de visitas (blog, loja, ferramentas): libere os robôs de busca e de acesso a pedido. As respostas com link são uma fonte crescente de visitas. Bloquear o treino é uma escolha sua e não afeta essas visitas.
• Conteúdo pago ou exclusivo: bloqueie os três tipos, e proteja o conteúdo com login, que é o que de fato impede a leitura.
• Documentação de produto: libere tudo. Quanto mais as IAs souberem do seu produto, melhores as respostas para quem pergunta sobre ele.

Mudanças no robots.txt valem para as próximas visitas: o que já foi coletado não sai dos modelos treinados. E o arquivo precisa estar na raiz do domínio, em /robots.txt, com cada subdomínio tendo o seu.