PhAI Labs: Claude Opus 5 fica em último lugar em teste de hipóteses científicas, com 2,3%

A PhAI Labs divulgou uma comparação de modelos pela capacidade de propor hipóteses científicas, e a primeira reação da imprensa chinesa é de surpresa: o Claude Opus 5, com 2,3%, ficou em último lugar entre cinco grupos. O grupo GPT marcou 2,5%. A diferença é de dois décimos de ponto percentual, e a tabela completa, a julgar pelo trecho disponível, inclui mais alguns modelos, entre eles o GLM.

Como funciona a avaliação

A metodologia é incomum porque não depende de avaliadores especialistas nem de um benchmark com respostas conhecidas de antemão. Os modelos propõem hipóteses de pesquisa, e elas são então confrontadas com a literatura científica publicada depois. Se a ideia de um modelo coincide com uma direção que realmente se desenvolveu nos artigos, ela conta como uma dica útil para pesquisas futuras. Pelo que tudo indica, o percentual do relatório mostra a proporção desses acertos.

A abordagem tem uma vantagem clara: não dá para ajustar o futuro à resposta. Mas há pontos fracos. A coincidência com publicações posteriores reflete aquilo em que a comunidade científica trabalhou, e não necessariamente o que teria valor. Uma hipótese ousada que ninguém se dispôs a testar recebe zero.

O que se sabe sobre os resultados

• Claude Opus 5: 2,3%, último lugar entre cinco grupos.
• GPT: 2,5%.
• GLM e demais participantes: os valores estão cortados no trecho disponível do material.
• Critério: interseção das hipóteses com a literatura publicada depois de sua geração.
• Frente paralela: DiscoveryRSI, projeto da PhAI Labs de autoevolução de agentes de pesquisa.

O ponto principal a ter em mente é que todos os valores ficam na faixa de poucos por cento. Quando líder e lanterna estão separados por frações de ponto percentual, e sem intervalos de confiança, número de execuções e tamanho da amostra, é difícil afirmar que a ordem dos modelos é estável. Uma diferença de 0,2 p.p. pode muito bem ser ruído. As manchetes sobre o "fundo" do ranking soam mais altas do que os dados em si.

DiscoveryRSI e a autoevolução de agentes

No anúncio da transmissão, a comparação entre os modelos aparece ligada ao DiscoveryRSI. A sigla sugere autoaperfeiçoamento recursivo (recursive self-improvement) aplicado a descobertas científicas: o agente não só formula hipóteses, como também melhora a própria maneira de formulá-las. O texto disponível não traz detalhes da arquitetura, então ainda é cedo para julgar como o ciclo é implementado. A lógica, porém, é compreensível. Se o sistema tem um sinal de qualidade mensurável, como a proporção de hipóteses confirmadas pela literatura posterior, esse sinal pode servir para selecionar e refinar estratégias dos agentes.

É nesse ponto que o teste da PhAI Labs se mostra mais interessante do que a própria tabela. Uma métrica que funciona como juiz externo serve não só para comparar modelos, mas também como função de recompensa para treinar agentes.

Como ler rankings como esse

Para equipes que constroem agentes científicos ou de pesquisa, a conclusão é pragmática. Um único benchmark de hipóteses não substitui testes na sua própria área: biologia, ciência dos materiais e matemática geram distribuições diferentes de ideias "bem-sucedidas". O resultado de uma versão específica do modelo, com um prompt específico e uma estrutura de agente específica, não vale para a família inteira.

Antes de trocar de provedor por causa desses números, vale esperar o relatório completo e verificar três coisas: quantas hipóteses foram geradas por modelo, como se definiu a "coincidência" com a literatura e se os resultados se reproduzem em execuções repetidas. Até lá, é mais sensato interpretar 2,3% contra 2,5% como sinal de que todos os participantes ainda resolvem mal essa tarefa, e não como uma sentença contra um modelo em particular.