L'évaluation directe par LLM classe les articles comme Elo, mais écarte 4,3% des travaux faibles contre 66,4%

Les grandes conférences de ML reçoivent plus de 10 000 soumissions par an, sans que le nombre de relecteurs augmente. Des chercheurs de l'Université de l'Indiana à Bloomington, de l'Université Renmin et de l'Université d'Anvers ont cherché la meilleure façon de faire évaluer des articles par un modèle de langage. Ils ont pris 232 soumissions à la conférence ICLR 2025 et comparé cinq schémas.

L'évaluation directe (Direct) attribue à chaque article une note de 1 à 10, indépendamment des autres. Elo déduit un classement de comparaisons par paires, où le modèle choisit le meilleur de deux articles. Sur l'ordre des articles, les deux schémas sont aussi proches l'un que l'autre des notes des relecteurs.

Mais lorsque les notes sont converties en décision « accepter ou rejeter », l'évaluation directe n'écarte que 4,3% des travaux que les relecteurs ont notés sous le seuil d'acceptation. Elo en écarte 66,4%.

Pourquoi un bon classement ne donne pas une bonne décision

L'évaluation directe concentre presque toutes ses prédictions au-dessus du seuil d'acceptation : les articles faibles passent avec les articles solides. Pour en identifier la cause, les auteurs ont mené une expérience de contrôle : ils ont ajusté le seuil de chaque schéma à sa propre proportion d'articles acceptés. Résultat : l'approche comparative apporte un bon placement des notes sur l'échelle, et non un meilleur classement. Après recalibration, l'évaluation directe atteint un accord avec les humains supérieur à celui d'Elo, tout en n'effectuant que 24% de ses appels API.

La conclusion pratique : on ne peut pas juger un système de relecture à partir d'une seule corrélation. Il faut examiner la calibration, le seuil, le choix du modèle et le résultat précis que l'on cherche à prédire.

Comment l'expérience est construite

L'échantillon a été stratifié selon la note moyenne des relecteurs sur OpenReview. Dans chaque tranche de 2 à 8, les auteurs ont retenu 30 articles ; dans les tranches rares 1, 9 et 10, ils ont pris tous les articles disponibles : 7, 13 et 2 travaux. La note moyenne de l'échantillon s'établit à 5,16, avec un écart-type de 2,16.

Deux familles de schémas ont été comparées. Les schémas absolus attribuent une note sur une échelle : Direct, Anchor et Group Rating. Anchor ajoute à la requête trois articles similaires dont les notes sont connues, tirés d'un ensemble de 100 travaux d'ICLR 2024 aux évaluations unanimes. Group Rating évalue cinq articles à la fois et produit 46 groupes. Les schémas comparatifs déduisent un classement de duels : Elo (en moyenne 10 comparaisons par article, 1 160 au total) et un tournoi suisse en 8 rondes. Les classements des schémas comparatifs ont été ramenés à l'échelle 1–10. La surévaluation des notes et les autres erreurs absolues ne peuvent donc pas être comparées directement entre les deux familles.

Les données d'entrée ont aussi varié : trois représentations de l'article, dont le titre avec l'abstract seul et un résumé de 200 à 300 mots rédigé par un LLM. Tous les schémas ont été répétés sur trois modèles.

Ce que l'étude montre d'autre

• L'abstract seul suffit : il donne de meilleurs résultats que le résumé de l'article complet.
• Le choix du modèle influe sur le résultat autant que le choix du schéma.
• Anchor fonctionne mal. Les auteurs l'attribuent à l'ensemble d'ancrage : les articles dont les évaluations ont une variance nulle ne couvrent qu'une partie étroite de l'échelle (écart-type de 1,66 pour une moyenne de 5,14, maximum de 8,0).
• La répétition sur l'ensemble des 11 513 articles notés reproduit ces tendances. L'accord absolu dépend de la dispersion des notes dans l'échantillon évalué, et aucun schéma ne surpasse en précision la stratégie « toujours rejeter ».
• Les notes humaines prédisent les citations mieux que n'importe quel schéma. L'exception est Group Rating : sa corrélation avec les citations subsiste après correction par les notes des relecteurs, et c'est le seul à classer les articles au sein de ceux déjà acceptés.

Réserves sur l'« étalon »

Les notes des relecteurs sont elles-mêmes bruitées : un article reçoit en moyenne 4,05 relecteurs. Le plafond de corrélation avec un tel étalon est donc nettement inférieur à un, et les résultats doivent se lire par rapport au plafond de l'échantillon, et non par rapport à 1.

Le contexte de l'étude est pratique. Les organisateurs déploient déjà des LLM : ICLR 2025 a mené un test randomisé de suggestions destinées aux relecteurs, et AAAI 2026 a ajouté une relecture par IA à chaque article de sa session principale. L'étude montre qu'une évaluation directe peu coûteuse, fondée sur l'abstract et recalibrée, peut servir de référence de base. Mais il est trop tôt pour s'en servir pour décider des acceptations.