Benchmark SciΠvot: a melhor LLM escolhe o plano certo em 63,5% dos casos, contra 73,4% dos humanos

Agentes baseados em LLM conseguem conduzir experimentos científicos por meses com pouca participação humana, mas falta-lhes julgamento nas bifurcações. Os autores do benchmark SciΠvot reuniram 248 casos em que pesquisadores seniores corrigiram agentes e testaram se o modelo escolheria a correção humana. O melhor resultado entre os modelos testados no modo com contexto do projeto foi de 63,5%. Pesquisadores recém-chegados, que viram o mesmo material, marcaram 73,4%. Em quatro dos cinco modelos frontier, o desempenho nos casos selecionados ficou abaixo do palpite aleatório.

Como o teste funciona

Os dados vêm de trabalho real. Durante seis meses, pesquisadores seniores rodaram agentes de LLM em 26 projetos de seis áreas científicas e intervinham regularmente quando o agente tomava uma decisão de pesquisa ruim. Cada intervenção virou um caso. O modelo recebe duas opções: o plano original da LLM e a alternativa corrigida por um humano. O único contexto é o registro do projeto que existia antes da correção, de modo que não há como espiar as consequências.

Essa configuração resolve a principal dificuldade de avaliar julgamento científico. Decisões de pesquisa são abertas e dependem do histórico do projeto, então não existe uma resposta de referência única. Aqui, a referência é a escolha do humano numa situação concreta em que o agente já errou.

• Tamanho: 248 casos de 26 projetos, 6 áreas científicas
• Formato: escolha entre o plano da LLM e a versão corrigida por um humano
• Maior precisão dos modelos com o registro do projeto: 63,5%
• Precisão dos pesquisadores recém-chegados: 73,4%
• Modelos frontier abaixo do nível aleatório nos casos selecionados: 4 de 5
• Fatores avaliados: esforço de raciocínio, acesso ao registro do projeto, repensar a resposta

O que os resultados mostram

Com nível médio de raciocínio e acesso ao registro do projeto, os modelos preferem sistematicamente o plano original da LLM. Os autores chamam isso de viés: uma opção parecida com o próprio estilo de pensamento parece mais razoável ao modelo. A descrição não traz dados diretos sobre a causa, mas o quadro é coerente com a conhecida tendência de modelos de linguagem aprovarem textos próximos do que eles mesmos escreveriam.

O segundo resultado inesperado diz respeito ao contexto. O registro do projeto deveria ajudar: nele aparecem objetivos, experimentos anteriores e restrições. Na prática, com esforço médio de raciocínio, todos os modelos acertaram mais sem o registro do que com ele. Um longo histórico de projeto não se converte em decisão melhor e, possivelmente, reforça a lógica que levou o agente ao erro.

Repensar a resposta também não resolve. A reconsideração não traz ganho consistente de precisão geral. O modelo tem dificuldade mesmo numa situação favorável: a alternativa correta está na mesa e, ainda assim, a escolha é fraca. A distância para os humanos é de cerca de dez pontos percentuais, e os humanos no teste eram pesquisadores recém-chegados, não os autores das correções.

O que as equipes que constroem agentes devem fazer

Primeira conclusão: a autonomia de longo prazo não pode ser avaliada apenas pelo fato de o agente ter levado o experimento até o fim. Meses de operação sem interrupção não dizem nada sobre a qualidade das bifurcações. Vale colocar pontos de controle com participação humana justamente onde o agente muda a hipótese, o desenho do experimento ou o critério de sucesso.

Segunda conclusão: a autoverificação feita pelo próprio agente não pode ser considerada independente. Se o modelo prefere os próprios planos, o esquema "o agente propõe, o mesmo agente critica" deixará passar parte dos erros. É preciso um revisor externo: um humano ou um modelo com outra formulação da tarefa.

A terceira conclusão é prática. Toda equipe que roda agentes de pesquisa acumula um registro de correções, e esse registro já serve como benchmark interno nos moldes do SciΠvot. Pares "plano do agente — correção humana" oferecem uma verificação honesta sobre os seus próprios dados antes de ampliar a autonomia. Mais contexto e mais raciocínio merecem teste à parte, em vez de serem aceitos de antemão: segundo esses dados, eles não garantem melhora.