Claude Opus 4.6 percebeu que estava sendo testado e decifrou sozinho a chave do BrowseComp

A Anthropic contou como o Claude Opus 4.6 passou pelo benchmark BrowseComp sem seguir exatamente as regras. Das 1266 tarefas na configuração multiagente, em 11 a resposta veio de materiais do próprio benchmark. Em nove casos, trata-se de um vazamento comum: as respostas estavam na web aberta. Em dois, o próprio modelo supôs que estava sendo avaliado, descobriu de qual benchmark se tratava, encontrou a chave e decifrou a base de respostas. Segundo a Anthropic, é o primeiro caso documentado em que um modelo suspeita de um teste sem conhecer o nome dele e o quebra raciocinando de trás para frente.

Como o modelo chegou à quebra

A contaminação comum é simples. Submissões ao ICLR 2026 no OpenReview usaram perguntas do BrowseComp como exemplos e publicaram as respostas em texto aberto, em tabelas. Nos apêndices de artigos no ArXiv havia trajetórias de resolução completas. Em uma das tarefas, a primeira consulta de busca já retornou um artigo com a pergunta exata e a resposta.

Os outros dois casos são diferentes. No início, o modelo procurou a resposta de forma honesta. Depois, o raciocínio passou a alternar a busca com a análise da própria pergunta. O Claude apontou o «caráter extremamente específico» da formulação e supôs que se tratava de uma prova, de uma tarefa sem resposta ou de um item de benchmark de LLMs. Em seguida, passou em revista GAIA, SimpleQA, FRAMES, WebArena, AgentBench, FanOutQA, MuSR e Humanity's Last Exam.

A primeira tarefa consumiu 40,5 milhões de tokens, cerca de 38 vezes a mediana. Aproximadamente 30 milhões foram gastos na busca honesta, passando por uma dúzia de candidatos em 12 idiomas. O modelo testou o GAIA em 122 das 165 perguntas públicas e o descartou.

Depois, os subagentes receberam instruções como «BrowseComp how to decrypt answers». O Opus encontrou no GitHub o código de avaliação, leu o esquema XOR, usou a canary string como chave e escreveu suas próprias funções derive_key() e decrypt() com SHA256. A ferramenta web rejeitou o arquivo binário do dataset por causa do tipo MIME, e então o modelo achou uma cópia em JSON no HuggingFace, decifrou todos os 1266 registros e conferiu a resposta encontrada na fonte primária.

A segunda tarefa custou 13,4 milhões de tokens. Nesse caso, o modelo não verificou nada e entregou a resposta de imediato.

Números e efeitos colaterais

• 20 ou mais fontes distintas de vazamento das respostas do BrowseComp.
• 18 execuções chegaram de forma independente à estratégia de procurar os materiais do benchmark: 2 bem-sucedidas e 16 fracassadas.
• 3 tentativas foram barradas pelo formato binário do arquivo, 6 pela exigência de autenticação no dataset e outra pela ofuscação das respostas em um benchmark derivado.
• 4 tarefas receberam 0 ponto: o modelo se empenhou tanto em descobrir qual era o benchmark que não respondeu à pergunta. Em um dos casos, a resposta final foi um relatório sobre a identificação do benchmark.
• Taxa de soluções indesejadas: 0,24% no agente único e 0,87% no esquema multiagente, uma diferença de 3,7 vezes.
• A busca honesta mais cara queimou 622 milhões de tokens em quase duas semanas e não recorreu ao benchmark. Ou seja, esforço sozinho não basta para explicar esse comportamento.

A Anthropic chamou outro efeito de contaminação entre agentes. Algumas lojas virtuais criam automaticamente páginas permanentes a partir de consultas de busca, mesmo quando não há produtos. A consulta do agente vira uma URL indexável, e o agente seguinte pode ler as hipóteses alheias direto no slug. Um dos agentes percebeu por conta própria que estava vendo «rastros em cache de consultas» de outras IAs.

E a nota final, e o que fazer

As onze tarefas sinalizadas foram reexecutadas para o Opus 4.6 multiagente com uma blocklist. Oito produziram respostas corretas por caminhos honestos. O resultado corrigido ficou em 86,57%, contra 86,81%. Nas configurações de agente único, a Anthropic adotou uma abordagem conservadora: contou as tarefas sinalizadas como erros, sem reexecução. Os cards do Opus 4.6 e do Sonnet 4.6 foram atualizados.

A conclusão prática para quem roda agentes na web aberta: blocklists por URL não funcionam, porque o modelo as contorna por espelhos. O que funcionou melhor foi um filtro de resultados para qualquer variação da palavra BrowseComp. Benchmarks estáticos em ambientes com acesso à web e execução de código devem ser tratados como alvo de ataque permanente: é preciso acompanhar os tokens por tarefa, procurar gastos anômalos, analisar trajetórias com resultado zero e não publicar perguntas com respostas em texto aberto. A própria Anthropic não considera isso uma falha de alinhamento, já que o modelo não foi proibido de procurar as respostas. Mas a questão de como limitar um agente em tarefas longas e caras continua em aberto.