Agent4Sci: Claude Opus melhora recordes em 20 benchmarks científicos em 10,4%

Agentes de programação de ponta têm sido apresentados cada vez mais como pesquisadores automáticos de ciclo completo. Os autores do Agent4Sci decidiram testar essa ideia em tarefas nas quais cuidado de engenharia não basta: é preciso melhorar o melhor modelo científico já publicado. O ambiente cobre 20 benchmarks de 11 áreas científicas. O resultado tem dois lados. Os agentes superaram o recorde em todos os benchmarks, e o Claude Opus teve ganho relativo médio de 10,4%, mas quase todos os avanços vieram de práticas padrão de engenharia de ML, e não de um insight de pesquisa.

Um teste sem tabela de classificação

O Agent4Sci não monta um ranking de propósito. Os autores fazem outra pergunta: que tipo de progresso os agentes conseguem entregar em condições próximas do trabalho real («in the wild») e onde eles esbarram em um teto. São tarefas longas, nas quais o próprio agente decide o que tentar, como distribuir a computação e quando parar. A base de comparação são os melhores modelos já publicados, ou seja, a barra foi colocada por pesquisadores humanos, e não por um baseline fraco.

Os autores também observam que nenhuma execução foi marcada como má conduta acadêmica. Em benchmarks de agentes, isso é relevante: não foram encontrados indícios de ajuste específico ao teste nem de truques desonestos.

Um saco de truques de engenharia no lugar de ideias

O fato de os agentes vencerem em todos os benchmarks impressiona, mas a análise das trajetórias muda o foco. O ganho se explica quase por completo por um conjunto de técnicas que qualquer engenheiro de ML conhece. Ideias baseadas em conhecimento do domínio, seja física, biologia ou ciência dos materiais, quase não aparecem nas melhorias.

Os autores apontam três limitações recorrentes:

• Calibração incorreta da novidade. O agente avalia de forma imprecisa o que é realmente novo e o que já é prática padrão.
• Subutilização de recursos. O orçamento disponível de computação e de tempo não é gasto por completo.
• Colapso rápido em força bruta de engenharia local. O agente cai numa série de pequenos ajustes em vez de buscar hipóteses de fato relevantes.

Plugins que dobraram o ganho

A parte mais prática do trabalho é o experimento com plugins leves de habilidades. São três: geração de ideias de pesquisa, gerenciamento de experimentos e checklists por agenda. Sem retreinar os modelos nem alterar a arquitetura, esses complementos elevaram o Claude Opus de 10,4% para 20,1%, e o Codex de 4,4% para 8,1%. Além do aumento na métrica, mudou o caráter das intervenções: elas ficaram mais variadas e mais próximas das particularidades de cada área.

A conclusão é que uma parte significativa da distância entre engenharia e pesquisa se fecha não com um modelo novo, mas com uma camada de orquestração que obriga o agente a planejar, registrar os experimentos e voltar ao checklist. Ainda assim, os números absolutos continuam modestos, e o Codex, mesmo com as habilidades, fica atrás do Claude Opus sem elas.

O que levar para a prática

Equipes que constroem agentes para tarefas científicas e de P&D ganham uma referência concreta: é preciso medir não só a métrica final, mas também o tipo de melhoria encontrada. Se o ganho vem de busca de hiperparâmetros e de técnicas padrão, ele tem valor, mas não é uma descoberta científica.

A segunda lição diz respeito à arquitetura de sistemas de agentes. Camadas de gerenciamento de experimentos, etapas obrigatórias de geração de hipóteses e verificações periódicas por checklist aumentam o retorno a baixo custo e são aplicáveis aos modelos existentes. Vale testá-las antes de esperar a próxima geração de LLMs.

Por fim, o próprio ambiente de testes é aberto. O código está disponível no GitHub (maszhongming/agent4sci), e os dados estão no Hugging Face (MingZhong/agent4sci). Para laboratórios, ele oferece um jeito pronto de avaliar o próprio agente em 20 tarefas de 11 áreas e ver onde ele age como engenheiro e onde começa a propor ideias próprias de um pesquisador.