Ai2 mostra que LLMs-juízes de novidade falham com poucas palavras no prompt

A Ai2 publicou o estudo Old Ideas, Novel Problems e, junto com ele, um benchmark, dados, código e um pipeline automático para montar novos conjuntos de avaliação. A conclusão é incômoda para quem constrói ciência automatizada: os LLMs-juízes de novidade são extremamente instáveis. Uma única mudança de redação no prompt desloca a precisão do GPT-5.4 em 52,6 pontos, de 93,5% para 40,9%. Os sistemas especializados e caros, por sua vez, ficaram atrás de um prompt simples para o Claude Opus 4.6.

Como o padrão de referência foi montado a partir das revisões do ICLR 2026

Geradores de ideias como DataVoyager, AutoDiscovery, Theorizer e a plataforma Asta, do ecossistema da Ai2, produzem hipóteses mais rápido do que as pessoas conseguem ler. A filtragem costuma ficar a cargo de outro modelo, o "juiz de novidade". Não existe uma receita única para esse juiz: cada equipe escolhe o modelo, o prompt, o formato de comparação, o orçamento de raciocínio e, às vezes, a busca na literatura. Mesmo assim, os juízes costumam ser validados com artigos escritos por humanos, e não com as ideias de IA que terão de avaliar depois.

Para obter rótulos de referência, os autores não trataram a aceitação de um artigo como sinal de novidade. Eles extraíram das revisões do ICLR 2026 os trechos em que os revisores discutem a originalidade de forma explícita. Daí saíram dois grupos:

• 154 ideias de alta novidade: artigos aceitos, entre os 10% melhores de sua área, nos quais a novidade foi apontada de forma positiva e ninguém a contestou;
• 145 ideias de baixa novidade: artigos rejeitados, entre os 10% piores, nos quais os revisores duvidaram da originalidade e ninguém viu novidade.

Na checagem da rotulagem, um anotador concordou com a polaridade do sinal em 47 de 50 casos, e nenhuma divergência alteraria a interpretação do revisor. O primeiro cenário, Human-Only, compara ideias de humanos. No segundo, Human+Generated, as mesmas 154 ideias humanas são pareadas com 154 ideias de um gerador LLM simples. Esse gerador recebia apenas a área de pesquisa e o pedido de propor uma ideia nova, sem busca, ferramentas nem iterações. Os rótulos das ideias geradas são fracos, mas um especialista revisou 30 pares e, em todos, preferiu a ideia humana; nenhuma ideia gerada foi considerada nova.

Uma frase no prompt: menos 52 pontos

Foram seis juízes: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. Os autores alteraram um fator por vez: o prompt, o orçamento de raciocínio, o acesso a artigos relacionados, o formato das ideias, o número de veredictos agregados e o modelo gerador. O que mais pesou foi o prompt.

Ao GPT-5.4 foram apresentados pares Human+Generated com dois prompts. No primeiro, informava-se que os revisores haviam considerado nova exatamente uma das ideias do par, e pedia-se que ele a indicasse. No segundo, perguntava-se apenas qual das ideias era nova. A precisão caiu de 93,5% para 40,9%, e o veredicto mudou em mais da metade dos pares. No Human-Only, a mesma mudança custou cerca de sete pontos, embora o Claude Opus 4.6 tenha perdido ali 21 pontos. Um juiz pode parecer estável em trabalhos humanos e se comportar de outro modo diante de ideias de IA.

Não existe prompt universal. Ao remover a instrução de não considerar novas as contribuições triviais e incrementais, a precisão sobe em alguns juízes e cai em outros. Na comparação entre ideias de dois geradores (Opus 4.5 contra Sonnet 4.5, GPT-5.4 contra GPT-5.1), de um quarto a um terço dos veredictos muda. Essa medição não pressupõe qual gerador é mais forte.

Sistemas caros perderam para um prompt barato

Outra observação inesperada diz respeito à busca e ao raciocínio. Um juiz agêntico baseado no GPT-5.6 Sol, com orçamento máximo de raciocínio e busca iterativa no arXiv, atingiu 0,78 de macro-F1. O Claude Opus 4.6 com cinco resumos encontrados previamente chegou a 0,89. O agente custava cerca de 10 vezes mais por decisão.

Os sistemas especializados também não ajudaram (todos com Claude Opus 4.6, Human+Generated):

• prompt simples do Opus 4.6, nível baixo de raciocínio, votação majoritária de três chamadas: 0,854 de macro-F1, $2,59 por toda a rodada;
• Idea Novelty Checker (busca na literatura com reranqueamento): 0,642 de macro-F1, $30,66;
• AI Scientist, da Sakana AI (busca iterativa no Semantic Scholar): 0,772 de macro-F1, $82,05.

A linha de base simples saiu de 12 a 32 vezes mais barata e mais precisa que as duas.

O que verificar no seu pipeline de avaliação

Se o seu sistema ranqueia ou filtra ideias, hipóteses ou tarefas de pesquisa com a ajuda de um LLM, não é seguro confiar no veredicto de um único prompt. Rode o juiz com pelo menos duas ou três formulações e calcule a proporção de veredictos que mudam: essa divergência pode ser medida sem nenhum rótulo. Faça essa checagem em ideias geradas, e não apenas em artigos humanos.

Não adote por padrão a busca agêntica cara: comece com um prompt simples e votação de três chamadas, e só depois pague de 10 a 30 vezes mais por um ganho mensurável. O código e os dados da Ai2 são abertos, e o pipeline pode ser reaproveitado com revisões de outras conferências e áreas.