La evaluación directa con LLM ordena los artículos como Elo, pero descarta el 4,3% de los trabajos débiles frente al 66,4%

Las grandes conferencias de ML reciben más de 10 000 envíos al año, pero el número de revisores no crece. Investigadores de la Universidad de Indiana en Bloomington, la Universidad Renmin y la Universidad de Amberes analizaron cuál es la mejor manera de hacer que un modelo de lenguaje evalúe artículos. Tomaron 232 envíos a ICLR 2025 y compararon cinco esquemas.

La evaluación directa (Direct) asigna a cada artículo, por separado, una puntuación de 1 a 10. Elo deduce un ranking a partir de comparaciones por pares, en las que el modelo elige el mejor de dos artículos. En el orden de los artículos, ambos esquemas se acercan por igual a las puntuaciones de los revisores.

Pero cuando las puntuaciones se convierten en una decisión de «aceptar o rechazar», la evaluación directa descarta solo el 4,3% de los trabajos que los revisores valoraron por debajo del umbral de aceptación. Elo descarta el 66,4%.

Por qué un buen orden no garantiza una buena decisión

La evaluación directa comprime casi todas las predicciones por encima del umbral de aceptación, de modo que los artículos débiles pasan junto a los fuertes. Para hallar la causa, los autores diseñaron un experimento de control: ajustaron el umbral de cada esquema a su propia proporción de trabajos aceptados. Resultó que la ventaja del enfoque comparativo está en situar bien las puntuaciones en la escala, no en lograr un mejor orden. Tras la recalibración, la evaluación directa alcanza un acuerdo con los humanos superior al de Elo y necesita solo el 24% de sus llamadas a la API.

La conclusión práctica: no se puede juzgar un sistema de revisión por una única correlación. Hay que fijarse en la calibración, el umbral, la elección del modelo y el resultado concreto que se predice.

Cómo se diseñó el experimento

La muestra se estratificó por la puntuación media de los revisores en OpenReview. En cada intervalo de 2 a 8 se tomaron 30 artículos; en los intervalos poco frecuentes de 1, 9 y 10 se incluyeron todos los disponibles: 7, 13 y 2 trabajos. La puntuación media de la muestra fue de 5,16, con una desviación estándar de 2,16.

Se compararon dos grupos de esquemas. Los absolutos asignan una puntuación en una escala: Direct, Anchor y Group Rating. Anchor añade a la consulta tres artículos similares con puntuaciones conocidas, extraídos de un conjunto de 100 trabajos de ICLR 2024 con valoraciones unánimes. Group Rating evalúa cinco artículos a la vez y genera 46 grupos. Los esquemas comparativos deducen el ranking a partir de enfrentamientos: Elo (en promedio, 10 comparaciones por artículo y 1 160 en total) y un torneo suizo de 8 rondas. Los rankings de los esquemas comparativos se reescalaron a la escala 1–10, por lo que la sobrestimación de puntuaciones y otros errores absolutos no se pueden comparar directamente entre ambas familias.

También se varió la entrada: tres representaciones del artículo, entre ellas solo el título con el abstract y un resumen de 200–300 palabras elaborado por un LLM. Todos los esquemas se repitieron con tres modelos.

Qué más mostró el estudio

• Basta con el abstract: da mejores resultados que un resumen del artículo completo.
• La elección del modelo influye en el resultado tanto como la del esquema.
• Anchor funciona mal. Los autores lo atribuyen al conjunto de anclas: los artículos con varianza cero en las puntuaciones cubren solo una parte estrecha de la escala (desviación estándar de 1,66 con una media de 5,14 y un máximo de 8,0).
• Al repetir el experimento con los 11 513 artículos con puntuaciones se reprodujeron los patrones. El acuerdo absoluto depende de la dispersión de las puntuaciones en la muestra evaluada, y ningún esquema superó en precisión a la estrategia de «rechazar siempre».
• Las valoraciones humanas predicen las citas mejor que cualquier esquema. La excepción es Group Rating: su correlación con las citas se mantiene tras corregir por las puntuaciones de los revisores, y es el único que ordena los artículos dentro del grupo de los ya aceptados.

Salvedades sobre el «patrón oro»

Las propias valoraciones de los revisores son ruidosas: hay en promedio 4,05 revisores por artículo. Por eso el techo de correlación con ese patrón de referencia queda claramente por debajo de uno, y los resultados deben leerse en relación con el techo de la propia muestra, no con 1.

El contexto del trabajo es práctico. Los organizadores ya están incorporando LLM: en ICLR 2025 realizaron una prueba aleatorizada de sugerencias para revisores, y AAAI 2026 añadió una revisión de IA a cada artículo del track principal. El estudio indica que una evaluación directa barata basada en el abstract y con recalibración puede servir como línea base. Pero todavía es pronto para tomar decisiones de aceptación a partir de ella.