Os tres bots da Anthropic podem elevar para 92% a chance de um site aparecer nas fontes do Claude

Um site pode ser util, bem escrito e acessivel ao Google, mas ainda assim o Claude pode nao encontra-lo durante uma busca. Um motivo frequente e simples: o proprietario queria impedir o uso dos textos no treinamento de modelos e bloqueou todos os bots da Anthropic com uma unica regra. Como resultado, alem do coletor de treinamento, tambem bloqueou a indexacao para busca e a leitura de paginas por link direto.

A Anthropic usa bots diferentes para essas tarefas. O ClaudeBot coleta materiais para o treinamento de modelos. O Claude-SearchBot indexa paginas que podem aparecer nos resultados da busca na web do Claude. O Claude-User recupera uma pagina especifica quando um usuario fornece um link ou solicita seu conteudo. Portanto, bloquear apenas o ClaudeBot nao deveria tirar a visibilidade do site, desde que os outros dois bots estejam realmente autorizados.

Uma unica proibicao resolve o problema errado

Considere a documentacao de um servico SaaS. A equipe nao quer inclui-la em futuros conjuntos de dados de treinamento, mas quer que o Claude cite as instrucoes quando clientes fizerem perguntas. Nesse caso, o robots.txt pode bloquear o acesso do ClaudeBot e permitir separadamente o Claude-SearchBot e o Claude-User. De forma simplificada, a logica e a seguinte: Disallow: / para o primeiro e Allow: / para os outros dois.

No entanto, apenas o robots.txt nao e suficiente. Um WAF ou uma CDN pode rejeitar as requisicoes antes que o bot leia as regras. Por exemplo, uma regra pronta para bloquear rastreadores de IA pode reunir varios agentes de usuario em um unico grupo. Nesse caso, o arquivo permite o acesso, mas a protecao do site devolve uma recusa. E preciso verificar toda a cadeia: o robots.txt de cada subdominio, as regras da CDN e do WAF e, depois, os logs do servidor. O nome do bot no agente de usuario deve ser comparado com a lista de enderecos IP publicada pela Anthropic, pois essa string e facil de falsificar.

Indexacao ainda nao significa citacao

Depois que os bots forem autorizados, a pagina ainda precisa entrar no indice de busca usado pelo Claude. A Anthropic nao identifica oficialmente seu provedor de busca, mas varias observacoes independentes apontam para uma forte ligacao com o Brave Search. Em uma comparacao, 87,8% das paginas encontradas pelo Claude estavam entre os 10 primeiros resultados do Brave; no Google, a coincidencia foi de 45,6%. Em outra medicao, sites nas posicoes 1–3 do Brave foram citados em 92% das respostas analisadas, enquanto paginas fora do top 20 foram citadas em 12%.

Isso e correlacao, nao prova de uma relacao causal direta. Os resultados tambem nao podem ser automaticamente generalizados para consultas em russo. Alem disso, o Claude nem sempre recorre a busca na web: no estudo State of AEO 2026, a busca foi ativada em 36,6% dos casos. Se o modelo responder de memoria, uma pagina recem-publicada nao podera se tornar uma fonte, independentemente das configuracoes do site.

O que verificar na pratica

Comece pelo robots.txt do dominio principal e de todos os subdominios. Certifique-se de que o Claude-SearchBot e o Claude-User nao estejam sujeitos a um Disallow: / geral. Em seguida, verifique o WAF, a CDN e os logs de acesso. Depois disso, procure a pagina no Brave usando varias consultas para as quais ela realmente ofereca a melhor resposta.

A verificacao final e fornecer ao Claude um link direto e pedir que ele resuma a pagina; depois, faca uma pergunta sobre o tema usando a frase Search the web. Repita o experimento com varias formulacoes: uma unica ocorrencia ou ausencia do link nao prova nada.

A conclusao pratica e simples: trate a exclusao do treinamento separadamente da exclusao da visibilidade nas buscas. Bloqueie o ClaudeBot se a politica da empresa exigir isso, mas preserve deliberadamente o acesso do Claude-SearchBot e do Claude-User. Isso nao garante um lugar na resposta, mas elimina o obstaculo tecnico que poderia impedir o Claude de sequer considerar seu conteudo.