Avaliação direta por LLM ranqueia artigos como o Elo, mas barra 4,3% dos trabalhos fracos contra 66,4%

As grandes conferências de ML recebem mais de 10 000 submissões por ano, e o número de revisores não cresce. Pesquisadores da Universidade de Indiana em Bloomington, da Universidade Renmin e da Universidade de Antuérpia testaram qual é a melhor forma de fazer um modelo de linguagem avaliar artigos. Eles pegaram 232 submissões do ICLR 2025 e compararam cinco esquemas.

A avaliação direta (Direct) dá a cada artigo, separadamente, uma nota de 1 a 10. O Elo deriva um ranking de comparações par a par, em que o modelo escolhe o melhor de dois artigos. Na ordem dos artigos, os dois esquemas ficam igualmente próximos das notas dos revisores.

Mas, quando as notas viram uma decisão de "aceitar ou rejeitar", a avaliação direta descarta apenas 4,3% dos trabalhos que os revisores avaliaram abaixo do limiar de aceitação. O Elo descarta 66,4%.

Por que uma boa ordenação não leva a uma boa decisão

A avaliação direta comprime quase todas as previsões acima do limiar de aceitação, e os artigos fracos passam junto com os fortes. Para achar a causa, os autores fizeram um experimento de controle: ajustaram o limiar de cada esquema à sua própria proporção de trabalhos aceitos. O resultado mostrou que a abordagem comparativa posiciona melhor as notas na escala, mas não produz uma ordenação melhor. Depois da recalibração, a avaliação direta alcança maior concordância com os humanos do que o Elo, usando apenas 24% do número de chamadas de API dele.

A lição prática: não dá para julgar um sistema de revisão por uma única correlação. É preciso olhar a calibração, o limiar, a escolha do modelo e qual resultado exatamente está sendo previsto.

Como o experimento foi montado

A amostra foi estratificada pela nota média dos revisores no OpenReview. Em cada faixa de 2 a 8, foram selecionados 30 artigos; nas faixas raras 1, 9 e 10, entraram todos os disponíveis: 7, 13 e 2 trabalhos. A nota média da amostra ficou em 5,16, com desvio-padrão de 2,16.

Os autores compararam dois grupos de esquemas. Os absolutos atribuem uma nota na escala: Direct, Anchor e Group Rating. O Anchor acrescenta à consulta três artigos semelhantes com notas conhecidas, tirados de um conjunto de 100 trabalhos do ICLR 2024 com avaliações unânimes. O Group Rating avalia cinco artigos de uma vez e resulta em 46 grupos. Os esquemas comparativos derivam o ranking de confrontos: Elo (em média 10 comparações por artigo, 1 160 no total) e torneio suíço de 8 rodadas. Os rankings dos esquemas comparativos foram convertidos para a escala de 1–10, por isso o inflacionamento de notas e outros erros absolutos das duas famílias não podem ser comparados diretamente.

Os dados de entrada também variaram: houve três representações do artigo, incluindo apenas título com abstract e um resumo de 200–300 palavras feito por LLM. Todos os esquemas foram repetidos em três modelos.

O que mais o estudo mostrou

• O abstract sozinho basta: ele dá resultado melhor do que o resumo do artigo completo.
• A escolha do modelo influencia o resultado tanto quanto a escolha do esquema.
• O Anchor funciona mal. Os autores atribuem isso ao conjunto de âncoras: artigos com variância zero nas avaliações cobrem uma parte estreita da escala (desvio-padrão de 1,66 com média de 5,14, máximo de 8,0).
• A repetição em todos os 11 513 artigos com notas reproduziu os padrões. A concordância absoluta depende da dispersão das notas na amostra avaliada, e nenhum esquema superou em acurácia a estratégia de "sempre rejeitar".
• As notas dos humanos preveem as citações melhor do que qualquer esquema. A exceção é o Group Rating: sua correlação com as citações se mantém depois do ajuste pelas notas dos revisores, e só ele ranqueia artigos dentro do conjunto já aceito.

Ressalvas sobre o "padrão-ouro"

As próprias notas dos revisores são ruidosas: há, em média, 4,05 revisores por artigo. Por isso, o teto de correlação com esse referencial fica bem abaixo de um, e os resultados devem ser lidos em relação ao teto da própria amostra, não em relação a 1.

O contexto do trabalho é prático. Os organizadores já estão adotando LLMs: no ICLR 2025 foi feito um teste randomizado de sugestões para revisores, e a AAAI 2026 incluiu uma revisão por IA em cada artigo da trilha principal. O estudo indica que uma avaliação direta barata, feita sobre o abstract e com recalibração, pode servir como linha de base. Mas ainda é cedo para tomar decisões de aceitação com base nela.