OpenProblemBench: GPT-6-Astra resolve 14% dos problemas abertos de matemática e física

O benchmark OpenProblemBench testa se modelos de linguagem conseguem avançar em problemas cuja resposta a ciência ainda não conhece. Ele reúne 82 problemas não resolvidos da literatura de matemática e física teórica. O melhor resultado foi o da GPT-6-Astra: a fatia média de problemas que os juízes consideraram resolvidos chegou a 14,0%. Os modelos abertos de grande porte marcaram 5,5–6,7%, e os modelos Flash, mais leves, 2,4–3,7%. No total, foram comparadas sete configurações.

Como o teste funciona

A maioria dos benchmarks populares se apoia em respostas conhecidas: o modelo acerta o gabarito ou não. Aqui não há gabarito, por definição, já que os problemas estão em aberto. Para cada um, os autores fornecem contexto de pesquisa, premissas e os avanços já conhecidos, ou seja, tudo de que uma pessoa precisaria para começar a trabalhar na questão.

Para que o resultado pudesse ser verificado, foram selecionados problemas em que as afirmações matemáticas ou computacionais decisivas admitem uma checagem relativamente clara. Mesmo assim, não existem soluções de referência. Cada resposta é avaliada de forma independente por quatro modelos-juízes, com base em três critérios: correção, completude e grau de avanço.

Parâmetros principais:

• 82 problemas não resolvidos da literatura de matemática e física teórica;
• 4 modelos avaliadores independentes, que trabalham sem soluções de referência;
• 7 configurações testadas;
• GPT-6-Astra: 14,0% de média da fração de soluções avaliadas;
• modelos abertos de grande porte: 5,5–6,7%;
• modelos Flash: 2,4–3,7%.

A diferença é clara. O líder alcança cerca do dobro do resultado dos melhores modelos abertos e várias vezes o da classe Flash.

O que distingue as respostas mais fortes

Os autores analisaram casos individuais e associaram os resultados bem-sucedidos a três características.

A primeira é a mudança na representação do problema. O modelo forte reformula a questão de um jeito que facilita o ataque, em vez de insistir na formulação original.

A segunda são os argumentos gerais, que vão além de um conjunto finito de evidências. Verificar alguns casos ou rodar um experimento numérico pode parecer convincente, mas não constitui prova. Uma resposta que constrói o raciocínio para toda a classe de objetos tem valor muito maior.

A terceira é a demonstração dos passos necessários para concluir a solução. Respostas fracas costumam parar na ideia e deixar o lema-chave sem justificativa. Os juízes dão notas baixas de completude a esse tipo de trabalho.

Como ler esses números

Há ressalvas. A métrica se chama «judged solve rate»: é uma avaliação feita por modelos-juízes, não uma solução confirmada. O resumo do trabalho não diz nada sobre a verificação de cada resposta por matemáticos profissionais. Além disso, o conjunto tem viés a favor de problemas com afirmações verificáveis, então os 14% não podem ser extrapolados para toda a ciência em aberto. É um indicador de um recorte selecionado de propósito.

A conclusão prática para equipes que escolhem modelos para trabalho de pesquisa é a seguinte. Primeiro, a diferença entre o modelo topo de linha e os modelos abertos full-size é grande neste teste, então, em tarefas com demonstrações, economizar na classe do modelo significa perder qualidade. Vale reservar os modelos Flash para o trabalho de rascunho: busca de literatura, reformulações e conferência de cálculos isolados.

Segundo, se você monta um pipeline com um pesquisador de IA, inclua verificação independente. Um modelo-juiz sem gabarito pode errar, e a checagem formal ou um especialista continuam sendo o filtro final. Terceiro, as três características das respostas fortes indicam como escrever os prompts: peça que o modelo mude a formulação, exija um argumento geral em vez de exemplos e peça, separadamente, a prova de cada passo. O OpenProblemBench tem valor como bancada de medição, que mostra onde os modelos já são úteis como coautores e onde continuam fracos.