Claude Mythos teria encontrado uma vulnerabilidade, mas ela já estava nos dados de treinamento

A Anthropic causou barulho na imprensa ao anunciar que seu modelo mais recente, o Claude Mythos, descobriu e explorou «o primeiro exploit remoto de kernel descoberto e aplicado por uma IA». A afirmação chamativa se espalhou rapidamente pelos veículos de notícias. Mas, quando os pesquisadores examinaram os detalhes, encontraram um problema: o modelo apenas lembrou de uma vulnerabilidade presente em seus dados de treinamento. Era um bug de 20 anos, conhecido havia muito tempo pelos especialistas.

O que a Anthropic anunciou

Em meio ao interesse crescente pelas capacidades de modelos de linguagem avançados em cibersegurança, a Anthropic afirmou que, durante os testes, o Claude Mythos identificou de forma autônoma um CVE (Common Vulnerabilities and Exposures), uma vulnerabilidade no kernel do sistema que, em teoria, pode ser usada para execução remota de código. Segundo a empresa, era um exemplo impressionante de como uma IA de ponta pode encontrar ameaças reais que humanos podem deixar passar. A história soou como um avanço genuíno na automação da cibersegurança e provocou uma onda de debates sobre quando a IA começará a encontrar vulnerabilidades sozinha.

O que os pesquisadores descobriram ao verificar

Um grupo de pesquisadores que analisou a descrição do caso chegou a uma conclusão incômoda. O bug em questão é uma vulnerabilidade conhecida havia muito tempo, que já estava em acesso aberto e provavelmente foi incluída nos dados de treinamento do Mythos. Em outras palavras, o modelo não fez nenhuma descoberta independente: apenas lembrou de informações que viu na fase de treinamento. É como se gabar de que um aluno descobriu sozinho o teorema de Pitágoras quando ele só reproduziu a fórmula do livro didático.

A história levanta várias questões críticas:

• A fronteira entre memorização e descoberta: como distinguir o que o modelo memorizou do que ele realmente descobriu de forma independente?
• Falta de verificação independente: como ter certeza de que afirmações bombásticas sobre conquistas da IA não estão superestimadas?
• Falta de transparência: por que as empresas não revelam todos os detalhes da metodologia para verificação independente?

O que isso significa para a indústria

A história ilustra um problema fundamental: quando o modelo viu os dados durante o treinamento, sua nova «descoberta» desses dados é mera lembrança, não uma descoberta genuína. À medida que a IA se torna ferramenta para áreas críticas como a segurança, o setor precisa desenvolver padrões mais rigorosos de avaliação de resultados. Afirmações bombásticas sem metodologia transparente e verificação independente só minam a confiança no setor e criam expectativas irreais sobre as capacidades dos modelos atuais.