Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
IndústriaArtigo científico · Para P&DAi2 (Allen Institute)→ original

Ai2: algumas palavras no prompt derrubaram a precisão do GPT-5.4 na avaliação de novas ideias de 93,5% para 40,9%

Quando uma IA julga a novidade das ideias de outra, o resultado depende da forma como a pergunta é feita. O Instituto Ai2 mostrou ao GPT-5.4 pares do tipo "ideia humana × ideia de IA". Com a dica de que exatamente uma delas é nova, o modelo acertou em 93,5% dos casos; com uma pergunta simples, o acerto caiu para 40,9%, pior que cara ou coroa. Por isso, antes de usar um juiz baseado em IA, teste-o com várias versões do prompt.

Processado por IA de Ai2 (Allen Institute); editado por Hamidun News
Ai2: algumas palavras no prompt derrubaram a precisão do GPT-5.4 na avaliação de novas ideias de 93,5% para 40,9%
Fonte: Ai2 (Allen Institute). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAi2 (Allen Institute) ↗
Editor-chefe
Dado-chave #1O prompt simples do Claude Opus 4.6 custou US$ 2,59; o AI Scientist, da Sakana, custou US$ 82,05
Dado-chave #2Um agente com busca no arXiv ficou 11 pontos atrás e custou 10 vezes mais
Dado-chave #3O benchmark foi montado com pareceres da ICLR 2026: 154 ideias fortes e 145 fracas

Imagine um sistema em que uma rede neural formula hipóteses científicas e outra decide qual delas é realmente nova e qual apenas reconta o que já se sabe. Esse segundo modelo é chamado de "juiz de novidade baseado em LLM". O Instituto Ai2 (Allen Institute for AI) testou se é possível confiar nele e obteve um resultado preocupante.

O GPT-5.4 foi solicitado a escolher a ideia mais nova em um par "ideia humana e ideia de IA". Quando o prompt indicava que exatamente uma das duas ideias havia sido reconhecida como nova, o modelo acertou em 93,5% dos casos.

Quando apenas perguntavam qual ideia era nova, a precisão caía para 40,9%, ou seja, abaixo de um palpite aleatório. Foram alteradas algumas palavras da consulta, enquanto as ideias permaneceram as mesmas.

Isso diz respeito a todos que usam LLMs como filtro ou ranqueador: quem seleciona ideias para agentes pesquisadores, compara geradores de hipóteses ou avalia rascunhos de produtos. Se o veredito depende da formulação do prompt, os números no seu painel podem refletir não a qualidade das ideias, mas uma consulta bem-sucedida.

Como os juízes foram testados

A principal dificuldade é que não existe um padrão de referência para a novidade. Os pesquisadores pegaram os pareceres da conferência ICLR 2026 e buscaram neles não o fato de o artigo ter sido aceito, mas os trechos em que os revisores discutem explicitamente a originalidade. Um artigo pode ser aceito por bons experimentos mesmo que sua ideia seja secundária, e vice-versa.

Assim, foram montados dois conjuntos. No primeiro, havia 154 ideias dos 10% melhores artigos aceitos, em que os revisores elogiavam a novidade e ninguém a contestava. No segundo, 145 ideias dos 10% piores artigos rejeitados, em que os revisores duvidavam da originalidade e não houve elogios. Um anotador concordou com a avaliação extraída em 47 de 50 casos verificados.

Para o segundo cenário, às mesmas 154 ideias humanas fortes foram acrescentadas 154 ideias de um gerador simples. Ele recebia apenas a área de pesquisa e o pedido de propor uma ideia nova, sem busca na literatura nem iterações. Esses rótulos são fracos: as ideias geradas foram consideradas menos novas por padrão. Um especialista verificou 30 pares, preferiu em todos a ideia humana e não classificou nenhuma das geradas como nova.

Os juízes foram seis modelos: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6. Eles atribuíam uma nota a cada ideia e escolhiam a mais nova de cada par.

Algumas palavras no prompt decidem tudo

O resultado variou mais fortemente com a formulação da consulta. Para o GPT-5.4, na primeira versão o prompt informava que os revisores haviam considerado nova exatamente uma das duas ideias. Na segunda, o modelo apenas perguntava qual ideia era nova. A precisão caiu de 93,5% para 40,9%, e o veredito mudou em mais da metade dos pares.

Nos pares formados por duas ideias humanas, o mesmo recurso alterou a precisão em apenas sete pontos. O juiz pode parecer estável com trabalhos humanos e se comportar de forma imprevisível com ideias de IA, justamente aquelas para as quais ele é usado. No Claude Opus 4.6, a variação nos pares humanos chegou a 21 pontos.

Não existe um prompt universalmente melhor. Se a instrução "não considere melhorias triviais como novas" for removida, a precisão sobe em alguns modelos e cai em outros. Um prompt bem-sucedido não se transfere de um modelo para outro. Ao comparar as ideias de dois geradores, como o Opus 4.5 contra o Sonnet 4.5, entre um quarto e um terço dos vereditos mudaram com a troca de prompt. Para chegar a essa conclusão, não é preciso saber qual gerador é melhor.

Caro não significa preciso

Outro resultado é importante para quem monta agentes. O GPT-5.6 Sol, com orçamento máximo de raciocínio e busca ao vivo no arXiv, obteve 78 pontos em 100 na métrica macro-F1, que mede quão bem o juiz identifica tanto as ideias novas quanto as não novas: quanto maior, melhor. O Claude Opus 4.6, com cinco anotações previamente encontradas, chegou a 89 pontos. A variante agêntica custou cerca de dez vezes mais por decisão.

Sistemas especializados também perderam. O prompt simples do Claude Opus 4.6, com baixo orçamento de raciocínio e votação em três execuções, somou 85,4 pontos ao custo total de US$ 2,59. O Idea Novelty Checker, um pipeline com busca e reranqueamento pela literatura, obteve 64,2 pontos por US$ 30,66. O AI Scientist, da Sakana AI, que busca iterativamente no Semantic Scholar, obteve 77,2 pontos por US$ 82,05. As duas arquiteturas rodaram sobre o Opus 4.6.

O que fazer com isso

Primeiro: qualquer avaliação automática de novidade, seja para seleção de ideias, ranqueamento de geradores ou filtro em um sistema agêntico, precisa de teste de robustez. Rode várias formulações do prompt e calcule quantos vereditos mudam. Segundo: não pague por um pipeline complexo antes de compará-lo com um prompt simples e votação. Terceiro: valide o juiz com os dados que ele de fato vai avaliar, ou seja, com textos gerados por IA, e não apenas com artigos publicados.

Há também limitações. Os rótulos das ideias geradas são fracos, o gerador foi propositalmente simples e a base do benchmark são os pareceres de uma única conferência de ML. Os próprios autores tratam a avaliação de novidade como um problema em aberto. A Ai2 publicou o benchmark, os dados, o código e o pipeline para criar novos conjuntos de avaliação, que podem ser aplicados a outras conferências e comunidades científicas.

História

Perguntas frequentes sobre a notícia

Como os juízes foram testados?

A principal dificuldade é que não existe um padrão de referência para a novidade. Os pesquisadores pegaram os pareceres da conferência ICLR 2026 e buscaram neles não o fato de o artigo ter sido aceito, mas os trechos em que os revisores discutem explicitamente a originalidade. Um artigo pode ser aceito por bons experimentos mesmo que sua ideia seja secundária, e vice-versa. Assim, foram montados dois conjuntos.

O que se sabe sobre Algumas palavras no prompt decidem tudo?

O resultado variou mais fortemente com a formulação da consulta. Para o GPT-5.4, na primeira versão o prompt informava que os revisores haviam considerado nova exatamente uma das duas ideias. Na segunda, o modelo apenas perguntava qual ideia era nova. A precisão caiu de 93,5% para 40,9%, e o veredito mudou em mais da metade dos pares. Nos pares formados por duas ideias humanas, o mesmo recurso alterou a precisão em apenas sete pontos.

O que se sabe sobre Caro não significa preciso?

Outro resultado é importante para quem monta agentes. O GPT-5.6 Sol, com orçamento máximo de raciocínio e busca ao vivo no arXiv, obteve 78 pontos em 100 na métrica macro-F1, que mede quão bem o juiz identifica tanto as ideias novas quanto as não novas: quanto maior, melhor. O Claude Opus 4.6, com cinco anotações previamente encontradas, chegou a 89 pontos. A variante agêntica custou cerca de dez vezes mais por decisão. Sistemas especializados também perderam.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…