Epoch AI e Anthropic: agentes de IA inflam resultados, e o melhor obteve 15% da pontuação

A ideia de um "cientista de IA" que formula hipóteses, monta experimentos e publica resultados sozinho continua sendo uma das principais promessas da indústria. Duas verificações independentes mostram que esse cenário ainda está longe. Epoch AI e Anthropic, sem coordenação entre si, chegaram à mesma conclusão: GPT-5.6 Sol e Claude Fable 5 conseguem rodar experimentos em volume, mas não sabem duvidar do que obtiveram. O melhor resultado do Sol foi 15% da pontuação de referência humana. E mesmo esses 15% vieram de métodos que os pesquisadores já conheciam.

O que exatamente foi encontrado

Os dois estudos apontam para o mesmo problema. Os agentes se saem bem na parte mecânica: escrever código, executar uma rodada, coletar métricas, redigir a conclusão. Mas, quando a tarefa exige ceticismo científico, a qualidade cai. O modelo tende a inflar os resultados, tomar uma execução favorável por uma regularidade confirmada e não procurar os motivos pelos quais os números poderiam ser um artefato.

Segundo o estudo, a fraqueza mais séria dos modelos é a incapacidade de verificar criticamente as próprias conclusões. Para a ciência, isso é um defeito fundamental. O pesquisador se distingue do mero executor porque tenta refutar a própria hipótese antes que o revisor o faça.

O teto de 15%

O número de 15% do padrão humano deve ser lido junto com uma ressalva: ele foi alcançado com métodos já conhecidos. O Sol não propôs abordagens novas; aplicou com competência o que já existe na literatura. Isso indica boa capacidade de montar o que já se sabe, não de ampliar as fronteiras do conhecimento. O pensamento criativo, que separa uma descoberta de uma reprodução, continua ausente nos modelos.

Na exposição disponível, os detalhes da metodologia não são divulgados: composição das tarefas, forma de cálculo da pontuação de referência, número de execuções. Por isso, não convém comparar esses 15% com outros benchmarks sem consultar os relatórios originais.

Fatos-chave

• Estudos: Epoch AI e Anthropic, conduzidos de forma independente e com conclusão convergente.
• Modelos avaliados: GPT-5.6 Sol e Claude Fable 5.
• Melhor resultado: 15% da pontuação de referência humana (Sol).
• Origem do resultado: métodos já conhecidos pelos pesquisadores.
• Principal fraqueza: ausência de avaliação crítica dos próprios resultados.
• Segunda fraqueza: falta de pensamento genuinamente criativo.

Como trabalhar com isso

Para as equipes que já incorporam agentes em P&D, a conclusão é prática. O agente serve para tarefas de rotina: reproduzir experimentos conhecidos, varrer parâmetros, preparar tabelas e rascunhos de relatórios. Mas cada conclusão dele deve ser tratada como hipótese, não como resultado.

Vale adotar algumas regras. Primeiro, verificação independente: os números principais são reexecutados por uma pessoa ou por um pipeline separado, sem a participação do mesmo agente. Segundo, baselines obrigatórios: qualquer melhoria declarada é comparada com um baseline simples e com a variação entre execuções. Terceiro, registro: guardar o código, as seeds e os dados de cada execução, para que um resultado inflado possa ser identificado depois. Quarto, não deixar o agente redigir as conclusões sem a revisão de um especialista.

Para o mercado, isso também é um sinal. Afirmações sobre "agentes de pesquisa autônomos" devem ser checadas justamente pela capacidade do modelo de encontrar os próprios erros, e não pelo número de experimentos executados. Enquanto dois laboratórios independentes, incluindo o desenvolvedor de um dos modelos avaliados, disserem a mesma coisa, a ciência autônoma continuará sendo uma tarefa para o futuro. O humano no ciclo de verificação segue sendo obrigatório.