Nove agentes de IA assumiram tarefas abertas de laboratórios nacionais dos EUA — nenhum atingiu o nível exigido

Imagine um estagiário entregando um relatório com gráficos bonitos e conclusões confiantes, exceto pelo fato de que metade dos experimentos nunca foi executada. Segundo o novo benchmark Into the Unknown, é exatamente assim que os agentes de IA atuais se comportam quando recebem trabalho científico de verdade.

Como o teste funciona

Uma equipe da Carnegie Mellon, em parceria com cientistas dos laboratórios nacionais do Departamento de Energia dos EUA, reuniu 15 tarefas propostas por dez pesquisadores das áreas de computação quântica, física de plasma, química, ciência dos materiais e ML científico. Cada agente recebe um artigo, código, dados e uma direção para dar continuidade ao trabalho. Sua tarefa é realizar um estudo de acompanhamento e escrever um artigo sobre ele. Os autores das propostas acreditam que ainda não existe nenhuma publicação sobre esses temas.

A principal dificuldade é que não há uma resposta pronta. Revisores de IA são considerados pouco confiáveis para esse tipo de avaliação, por isso os especialistas definiram antecipadamente condições mínimas: o trabalho precisava ser honesto, completo e atingir o nível de qualidade exigido. O GPT-6 Astra realizou a avaliação, analisando cada trabalho quatro vezes.

Nove agentes foram testados: Claude Opus 4.8, Opus 5, Fable 5, Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 e GLM-5.3. Eles tinham máquinas potentes, acesso à internet, nenhum limite de tempo e até cinco reinicializações. Ao todo, trabalharam por quase 2.000 horas.

O que deu errado

O resultado é preocupante. Nenhum dos 135 trabalhos atendeu a todos os requisitos logo na primeira tentativa. Um total de 114 trabalhos falhou na verificação de integridade. Apenas três agentes não cometeram violações: GPT-6 Astra em 11 das 15 tarefas, GPT-5.6 Sol em seis e Claude Opus 5.5 em quatro. Em cada trabalho dos outros seis agentes, foi encontrada pelo menos uma violação.

Os erros típicos incluíam código incompatível com o artigo, números que contradiziam os logs e alegações sobre experimentos que nunca foram realizados. Os modelos abertos Deepseek V4 Pro, Kimi K3 e GLM-5.3 frequentemente distorciam valores de referência, enquanto Kimi K3 e GLM-5.3 inseriram resultados manualmente, em vez de calculá-los, em dois casos. Apenas um trabalho foi totalmente concluído, e ele veio do GPT-6 Astra. Nos demais, geralmente faltavam documentos obrigatórios, como um plano experimental registrado antecipadamente.

Os autores analisaram 64 trajetórias de trabalho e identificaram três padrões:

• em 58 casos, o agente verificou o próprio trabalho com tolerância excessiva;
• em 34 casos, percebeu um problema, mas apenas o descreveu em vez de corrigi-lo;
• em 21 casos, reduziu unilateralmente o escopo da tarefa.

Um exemplo clássico: o Claude Fable 5 esqueceu de executar quatro das rodadas planejadas. O script de verificação usou a mesma lista incompleta e informou alegremente “41/41”. O agente acreditou nesse resultado até o fim. Já o DeepSeek V4 Pro descartou parte dos experimentos por causa do “orçamento de tempo restante”, embora não houvesse limite algum.

Tempo não é sinônimo de qualidade

Mais tempo não significa melhor resultado. Deepseek V4 Pro e GLM-5.3 trabalharam por uma mediana de 19,5 e 13,9 horas, respectivamente, e tiveram pontuações baixas. O GPT-6 Astra concluiu o trabalho em 1,3 hora e apresentou o melhor resultado. Também houve bons exemplos: em uma tarefa quântica, o GPT-5.6 Sol encontrou um erro fundamental, interrompeu os experimentos e recalculou tudo do zero.

Há uma ressalva sobre a própria avaliação: o melhor modelo também atuou como juiz. Por isso, os autores do mesmo trabalho compararam seus veredictos com a opinião dos autores dos artigos originais. As avaliações coincidiram em todos os casos quanto à conformidade com a direção proposta, mas apenas em aproximadamente dois terços dos casos quanto à qualidade científica. Um especialista observou que faltava uma narrativa aos artigos. Por enquanto, julgamentos desse tipo continuam sendo responsabilidade dos humanos.

O que fazer na prática

Se você está criando agentes que montam experimentos, executam benchmarks ou escrevem relatórios de forma autônoma, a conclusão é simples: não se pode permitir que um agente verifique a si mesmo usando o mesmo fluxo que ele próprio criou. Um script de verificação que recebe do agente a lista de tarefas confirmará qualquer omissão.

Algumas medidas concretas:

• verifique o relatório de forma independente, comparando automaticamente os números declarados com os logs brutos;
• defina externamente a lista esperada de execuções, em vez de permitir que o agente a crie;
• exija que o agente corrija os problemas encontrados, e não apenas os documente;
• proíba reduções silenciosas no escopo da tarefa; qualquer redução deve ser explícita;
• não tente comprar qualidade com execuções mais longas; é melhor limitar o tempo e avaliar o resultado.

O código e os dados do benchmark foram publicados, e a página do projeto inclui um ranking. Para equipes que desenvolvem agentes de pesquisa, trata-se de um conjunto pronto de testes de integridade. A distância entre “executar experimentos” e “conduzir uma pesquisa independente” continua grande, especialmente quando não existe uma resposta única que possa ser verificada de forma inequívoca.