robots.txt não impede o treinamento de IA: quais bots bloquear para continuar nas respostas

Muitos donos de sites adicionam ao robots.txt uma linha Disallow para o GPTBot e acreditam ter fechado os textos ao ChatGPT. Gary Illyes, do Google, lembrou: não é assim. O arquivo resolve uma única questão: se o robô pode baixar a página. O que o sistema faz com o conteúdo depois, ele não determina.

O que o Disallow realmente faz

O padrão RFC 9309 descreve o robots.txt como um conjunto de preferências de acesso. É uma placa de «favor não entrar»: um robô bem-educado não passa pela porta, mas a placa nada diz sobre o que já foi visto. Por isso, uma linha nova afeta apenas rastreamentos futuros. As páginas baixadas antes permanecem nos dados de treinamento.

O padrão não tem uma diretiva geral para «proibir toda a IA». O Google entende apenas User-Agent, Allow, Disallow e Sitemap, e ignora linhas inventadas. Para bloquear um rastreador específico, é preciso citar o seu token.

Três robôs em vez de um

OpenAI e Anthropic dividem os bots por tarefa:

• treinamento: GPTBot e ClaudeBot;
• busca do serviço: OAI-SearchBot e Claude-SearchBot;
• consulta do usuário: ChatGPT-User e Claude-User.

As configurações são independentes. É possível bloquear o GPTBot e continuar na busca do ChatGPT por meio do OAI-SearchBot. Mas a OpenAI ressalva que as regras do robots.txt podem não valer para o ChatGPT-User, e a Anthropic avisa: se você desativar o Claude-User, o Claude não conseguirá abrir sua página a pedido do usuário, e a visibilidade cairá.

No Google, o treinamento é separado pelo token Google-Extended. Ele afeta o treinamento do Gemini e o grounding (a entrega da página ao modelo durante a resposta), mas não a Busca comum. Por isso, bloqueá-lo pode custar um lugar nas respostas do Gemini. Applebot-Extended e CCBot funcionam de forma parecida: o primeiro decide se os modelos da Apple podem ser treinados com dados do Applebot; o segundo fecha o acesso ao Common Crawl.

Na Rússia, a escolha é mais pobre. Para não aparecer nas respostas rápidas da Alice AI, o Yandex recomenda bloquear YandexAdditional e YandexAdditionalBot; as mudanças são consideradas em 2–14 dias. Não há token só para treinamento, e um YandexBot bloqueado tira o site também da busca. A Sber não divulga o nome do robô do GigaChat, então não é possível citá-lo no arquivo.

Um arquivo típico de «não treinar, mas exibir» é assim: no primeiro grupo, User-agent para GPTBot, ClaudeBot, CCBot e Applebot-Extended com Disallow: /. Os tokens de busca e de usuário são liberados à parte com Allow: /.

Quem ignora as regras e o que fazer

Nem todos obedecem. Em agosto de 2025, a Cloudflare mostrou que o Perplexity, ao ser bloqueado, muda o user agent e o ASN (número da rede), e às vezes nem solicita o robots.txt. O robô se apresentava como Chrome no macOS, e isso ocorria em dezenas de milhares de domínios. O mais obediente no mesmo teste foi o ChatGPT-User.

É possível verificar seus bots pelo log: grep -E "GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User" access.log. Veja se o robô solicitou /robots.txt e se acessou seções fechadas depois que o Disallow apareceu. A falsificação do token não é detectada assim, então procure requisições com user-agent de navegador que seguem o mesmo ritmo nas mesmas páginas. Contra esses bots, é preciso proteção contra requisições automáticas no servidor ou na CDN, por exemplo na Cloudflare. Já o bloqueio por IP pode falhar com a Anthropic: o robô não lerá o robots.txt, e a recusa não funcionará.

Há outras alavancas: a metatag nosnippet da Apple, o protocolo TDMRep com o parâmetro tdm-reservation=1, que tem peso jurídico na UE, e o Pay Per Crawl da Cloudflare, em beta fechado.

O que vem a seguir

Desde 30 de outubro de 2026, a Anthropic reconhece um sinal geral: User-agent __usage_ai-training com Disallow: /. O Google planeja suportar o mesmo AIPREF no início de 2027 e, segundo a leitura da Lab Leaders, pode equipará-lo ao Google-Extended, o que novamente é um risco para as respostas do Gemini. O padrão do IETF com a regra Content-Usage segue como rascunho.

A conclusão prática é simples. Primeiro decida do que você quer se proteger: do treinamento ou da exibição nas respostas. Bloqueie os bots de treinamento pelo nome, mantenha abertos os de busca e os de usuário, e confira o resultado nos logs do servidor.