Agentes de IA reverificaram mais de 2.000 artigos da ICML 2026 e encontraram erros que os revisores deixaram passar

A revisão por pares nas principais conferências de ML se apoia em boa medida na confiança. O revisor recebe vários artigos, tem algumas semanas e, em geral, não vai executar o código de outra pessoa só para conferir uma tabela. No verão de 2026, decidiu-se testar isso de frente, recorrendo a agentes de IA.

O que aconteceu

A Hugging Face, junto com a alphaXiv, serviço de discussão de publicações científicas, realizou o hackathon ICML 2026 Open Reproductions. A tarefa: pegar os trabalhos aceitos na conferência (eram mais de dois mil) e tentar reproduzir os resultados declarados. Os participantes fizeram isso com a ajuda de agentes de IA. Nos artigos apareceram erros que os revisores não tinham percebido.

A ICML é uma das principais conferências de aprendizado de máquina, e um artigo aceito costuma ser visto como selo de qualidade. Mas o revisor vê um PDF, e o código anexado muitas vezes nem chega a ser executado: faltam tempo e incentivos.

É importante notar o que a mensagem original não diz. Não se informa quantos trabalhos foram reproduzidos por completo, quantos erros foram encontrados nem qual a gravidade deles: um erro de digitação numa fórmula ou um resultado que desmorona. Sem esses números, é cedo para dizer que os agentes «refutaram» uma fatia da ciência. Mas o formato em si é revelador: reverificar dois mil artigos esbarrava antes na falta de pessoas e de tempo.

Como isso funciona na prática

O esquema para o agente é mais ou menos este: ler o artigo, encontrar o repositório ou reconstruir o método a partir da descrição, executar o código, obter os números e compará-los com a tabela do texto. Cada passo isolado é tedioso, mas é justamente neles que os resultados se quebram.

Suponha que um artigo declare um ganho de 3 pontos percentuais num benchmark. O agente executa o código com as configurações indicadas e obtém um ganho de meio ponto. Daí há várias possibilidades: o hiperparâmetro do texto não coincide com o do código, os dados de teste vazaram para o treino, ou o modelo de base usado na comparação foi configurado pior que o dos autores. Uma pessoa, sem rodar o código, não vê isso. O agente não se cansa e pode executar centenas de verificações em paralelo.

São causas típicas de divergência, e não uma lista de achados do hackathon: os tipos concretos de erros não foram divulgados nos dados de origem.

O que fazer: recomendações para desenvolvedores e product managers

Não trate a tabela de um artigo como garantia. Se você constrói um produto sobre o «estado da arte» de um trabalho recente, os números dele continuam sendo uma hipótese. Reserve tempo para a sua própria reprodução e, antes, verifique se alguém já tentou fazê-la.

Aplique a mesma técnica dentro da empresa. Um agente que pega o relatório interno de um experimento ou a avaliação de um modelo e tenta repeti-lo do zero a partir da descrição é um jeito barato de encontrar a distância entre o que foi escrito e o que foi de fato executado. Para equipes que publicam benchmarks e comparações, isso é quase uma etapa de QA pronta.

Olhe para o mercado. Para fundadores, o hackathon ilumina um nicho: ferramentas de verificação de reprodutibilidade, verificadores de metodologia, auditoria de pesquisa para investidores e departamentos corporativos de P&D.

Limitações

Um agente que não conseguiu reproduzir um resultado ainda não provou o erro dos autores. A causa pode ser falta de recursos computacionais, dados fechados, descrição incompleta do método ou um erro do próprio agente. Por isso, os achados precisam ser confirmados por uma pessoa. O arranjo realista é aquele em que o agente reúne candidatos a erro e o especialista dá o veredicto.

Há também o risco inverso. Uma enxurrada de falsos positivos soterraria os autores com questionamentos que teriam de ser analisados manualmente, e a confiança nas verificações automáticas cairia rapidamente.

Os revisores continuam aí, mas ganharam um parceiro que de fato executa o código. A reprodutibilidade deixa de ser um luxo e vira um procedimento automatizável, algo como um CI para a ciência. As equipes que dependem de pesquisas recentes deveriam se acostumar com isso antes dos autores dos artigos.