Ai2: algumas palavras no prompt derrubaram a precisão do GPT-5.4 na avaliação de novas ideias de 93,5% para 40,9%
Quando uma IA julga a novidade das ideias de outra, o resultado depende da forma como a pergunta é feita. O Instituto Ai2 mostrou ao GPT-5.4 pares do tipo "ideia humana × ideia de IA". Com a dica de que exatamente uma delas é nova, o modelo acertou em 93,5% dos casos; com uma pergunta simples, o acerto caiu para 40,9%, pior que cara ou coroa. Por isso, antes de usar um juiz baseado em IA, teste-o com várias versões do prompt.
Processado por IA de Ai2 (Allen Institute); editado por Hamidun News
Imagine um sistema em que uma rede neural formula hipóteses científicas e outra decide qual delas é realmente nova e qual apenas reconta o que já se sabe. Esse segundo modelo é chamado de "juiz de novidade baseado em LLM". O Instituto Ai2 (Allen Institute for AI) testou se é possível confiar nele e obteve um resultado preocupante.
O GPT-5.4 foi solicitado a escolher a ideia mais nova em um par "ideia humana e ideia de IA". Quando o prompt indicava que exatamente uma das duas ideias havia sido reconhecida como nova, o modelo acertou em 93,5% dos casos.
Quando apenas perguntavam qual ideia era nova, a precisão caía para 40,9%, ou seja, abaixo de um palpite aleatório. Foram alteradas algumas palavras da consulta, enquanto as ideias permaneceram as mesmas.
Isso diz respeito a todos que usam LLMs como filtro ou ranqueador: quem seleciona ideias para agentes pesquisadores, compara geradores de hipóteses ou avalia rascunhos de produtos. Se o veredito depende da formulação do prompt, os números no seu painel podem refletir não a qualidade das ideias, mas uma consulta bem-sucedida.
Como os juízes foram testados
A principal dificuldade é que não existe um padrão de referência para a novidade. Os pesquisadores pegaram os pareceres da conferência ICLR 2026 e buscaram neles não o fato de o artigo ter sido aceito, mas os trechos em que os revisores discutem explicitamente a originalidade. Um artigo pode ser aceito por bons experimentos mesmo que sua ideia seja secundária, e vice-versa.
Assim, foram montados dois conjuntos. No primeiro, havia 154 ideias dos 10% melhores artigos aceitos, em que os revisores elogiavam a novidade e ninguém a contestava. No segundo, 145 ideias dos 10% piores artigos rejeitados, em que os revisores duvidavam da originalidade e não houve elogios. Um anotador concordou com a avaliação extraída em 47 de 50 casos verificados.
Para o segundo cenário, às mesmas 154 ideias humanas fortes foram acrescentadas 154 ideias de um gerador simples. Ele recebia apenas a área de pesquisa e o pedido de propor uma ideia nova, sem busca na literatura nem iterações. Esses rótulos são fracos: as ideias geradas foram consideradas menos novas por padrão. Um especialista verificou 30 pares, preferiu em todos a ideia humana e não classificou nenhuma das geradas como nova.
Os juízes foram seis modelos: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. Eles atribuíam uma nota a cada ideia e escolhiam a mais nova de cada par.
Algumas palavras no prompt decidem tudo
O resultado variou mais fortemente com a formulação da consulta. Para o GPT-5.4, na primeira versão o prompt informava que os revisores haviam considerado nova exatamente uma das duas ideias. Na segunda, o modelo apenas perguntava qual ideia era nova. A precisão caiu de 93,5% para 40,9%, e o veredito mudou em mais da metade dos pares.
Nos pares formados por duas ideias humanas, o mesmo recurso alterou a precisão em apenas sete pontos. O juiz pode parecer estável com trabalhos humanos e se comportar de forma imprevisível com ideias de IA, justamente aquelas para as quais ele é usado. No Claude Opus 4.6, a variação nos pares humanos chegou a 21 pontos.
Não existe um prompt universalmente melhor. Se a instrução "não considere melhorias triviais como novas" for removida, a precisão sobe em alguns modelos e cai em outros. Um prompt bem-sucedido não se transfere de um modelo para outro. Ao comparar as ideias de dois geradores, como o Opus 4.5 contra o Sonnet 4.5, entre um quarto e um terço dos vereditos mudaram com a troca de prompt. Para chegar a essa conclusão, não é preciso saber qual gerador é melhor.
Caro não significa preciso
Outro resultado é importante para quem monta agentes. O GPT-5.6 Sol, com orçamento máximo de raciocínio e busca ao vivo no arXiv, obteve 78 pontos em 100 na métrica macro-F1, que mede quão bem o juiz identifica tanto as ideias novas quanto as não novas: quanto maior, melhor. O Claude Opus 4.6, com cinco anotações previamente encontradas, chegou a 89 pontos. A variante agêntica custou cerca de dez vezes mais por decisão.
Sistemas especializados também perderam. O prompt simples do Claude Opus 4.6, com baixo orçamento de raciocínio e votação em três execuções, somou 85,4 pontos ao custo total de US$ 2,59. O Idea Novelty Checker, um pipeline com busca e reranqueamento pela literatura, obteve 64,2 pontos por US$ 30,66. O AI Scientist, da Sakana AI, que busca iterativamente no Semantic Scholar, obteve 77,2 pontos por US$ 82,05. As duas arquiteturas rodaram sobre o Opus 4.6.
O que fazer com isso
Primeiro: qualquer avaliação automática de novidade, seja para seleção de ideias, ranqueamento de geradores ou filtro em um sistema agêntico, precisa de teste de robustez. Rode várias formulações do prompt e calcule quantos vereditos mudam. Segundo: não pague por um pipeline complexo antes de compará-lo com um prompt simples e votação. Terceiro: valide o juiz com os dados que ele de fato vai avaliar, ou seja, com textos gerados por IA, e não apenas com artigos publicados.
Há também limitações. Os rótulos das ideias geradas são fracos, o gerador foi propositalmente simples e a base do benchmark são os pareceres de uma única conferência de ML. Os próprios autores tratam a avaliação de novidade como um problema em aberto. A Ai2 publicou o benchmark, os dados, o código e o pipeline para criar novos conjuntos de avaliação, que podem ser aplicados a outras conferências e comunidades científicas.
- 22 de nov. de 2026Linger lança agente de IA para Mac com 16 GB sem cobrança por tokens e promete aceleração de 5 vezes
- 22 de nov. de 2026Claude Code tirou a publicidade de uma TV em 1,5 hora e lançou a moda de hackear gadgets
- 22 de nov. de 2026Agente ignorou o AGENTS.md: em um terço dos pushes não perguntou, e fez force push 31 vezes
- 22 de nov. de 2026Axiom Math usa IA para escrever em Lean uma prova gigante de 43,1 milhões de linhas em 24 dias
Perguntas frequentes sobre a notícia
Como os juízes foram testados?
A principal dificuldade é que não existe um padrão de referência para a novidade. Os pesquisadores pegaram os pareceres da conferência ICLR 2026 e buscaram neles não o fato de o artigo ter sido aceito, mas os trechos em que os revisores discutem explicitamente a originalidade. Um artigo pode ser aceito por bons experimentos mesmo que sua ideia seja secundária, e vice-versa. Assim, foram montados dois conjuntos.
O que se sabe sobre Algumas palavras no prompt decidem tudo?
O resultado variou mais fortemente com a formulação da consulta. Para o GPT-5.4, na primeira versão o prompt informava que os revisores haviam considerado nova exatamente uma das duas ideias. Na segunda, o modelo apenas perguntava qual ideia era nova. A precisão caiu de 93,5% para 40,9%, e o veredito mudou em mais da metade dos pares. Nos pares formados por duas ideias humanas, o mesmo recurso alterou a precisão em apenas sete pontos.
O que se sabe sobre Caro não significa preciso?
Outro resultado é importante para quem monta agentes. O GPT-5.6 Sol, com orçamento máximo de raciocínio e busca ao vivo no arXiv, obteve 78 pontos em 100 na métrica macro-F1, que mede quão bem o juiz identifica tanto as ideias novas quanto as não novas: quanto maior, melhor. O Claude Opus 4.6, com cinco anotações previamente encontradas, chegou a 89 pontos. A variante agêntica custou cerca de dez vezes mais por decisão. Sistemas especializados também perderam.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.