Прямая оценка LLM ранжирует статьи как Elo, но отсекает 4,3% слабых работ против 66,4%

Крупные ML-конференции получают больше 10 000 заявок в год, а рецензентов не становится больше. Исследователи из Индианского университета в Блумингтоне, Университета Жэньминь и Университета Антверпена проверили, как лучше заставить языковую модель оценивать статьи. Они взяли 232 заявки конференции ICLR 2025 и сравнили пять схем. Прямая оценка (Direct) ставит каждой статье балл от 1 до 10 отдельно. Elo выводит рейтинг из парных сравнений, где модель выбирает лучшую из двух статей. По порядку статей обе схемы одинаково близки к оценкам рецензентов. Но когда баллы превращают в решение «принять или отклонить», прямая оценка отсекает лишь 4,3% работ, которые рецензенты оценили ниже порога приёма. Elo отсекает 66,4%.

Почему хороший порядок не даёт хорошего решения

Прямая оценка сжимает почти все предсказания выше порога приёма, и слабые статьи проходят вместе с сильными. Чтобы найти причину, авторы поставили контрольный эксперимент: подогнали порог под собственную долю принятых работ у каждой схемы. Выяснилось, что сравнительный подход даёт правильное размещение оценок на шкале, а не лучший порядок. После перекалибровки прямая оценка достигает более высокого согласия с людьми, чем Elo, и делает всего 24% от числа его API-вызовов.

Вывод для практики: судить о системе рецензирования по одной корреляции нельзя. Нужно смотреть на калибровку, порог, выбор модели и на то, какой именно результат предсказывается.

Как устроен эксперимент

Выборку стратифицировали по среднему баллу рецензентов в OpenReview. В каждой корзине от 2 до 8 взяли по 30 статей, а в редких корзинах 1, 9 и 10 — все доступные: 7, 13 и 2 работы. Средний балл выборки составил 5,16, стандартное отклонение — 2,16.

Сравнивали две группы схем. Абсолютные ставят балл по шкале: Direct, Anchor и Group Rating. Anchor добавляет к запросу три похожие статьи с известными баллами из набора в 100 работ ICLR 2024 с единогласными оценками. Group Rating оценивает пять статей разом и даёт 46 групп. Сравнительные схемы выводят рейтинг из поединков: Elo (в среднем по 10 сравнений на статью, 1 160 всего) и швейцарский турнир на 8 раундов. Рейтинги сравнительных схем приводили к шкале 1–10, поэтому завышение баллов и другие абсолютные ошибки у двух семейств напрямую сравнивать нельзя.

Входные данные тоже варьировали: три представления статьи, включая только название с абстрактом и пересказ на 200–300 слов, сделанный LLM. Все схемы повторили на трёх моделях.

Что ещё показало исследование

• Одного абстракта хватает: он даёт результат лучше, чем пересказ полной статьи.
• Выбор модели влияет на результат не меньше, чем выбор схемы.
• Anchor работает плохо. Авторы связывают это с якорным набором: статьи с нулевой дисперсией оценок покрывают узкую часть шкалы (стандартное отклонение 1,66 при среднем 5,14, максимум 8,0).
• Повтор на всех 11 513 статьях с баллами воспроизвёл закономерности. Абсолютное согласие зависит от разброса баллов в оцениваемой выборке, а ни одна схема не обошла по точности стратегию «всегда отклонять».
• Оценки людей предсказывают цитирования лучше любой схемы. Исключение — Group Rating: его корреляция с цитированиями сохраняется после поправки на баллы рецензентов, и только он ранжирует статьи внутри уже принятых.

Оговорки к «эталону»

Сами оценки рецензентов шумные: на одну статью приходится в среднем 4,05 рецензента. Поэтому потолок корреляции с таким эталоном заметно ниже единицы, и результаты нужно читать относительно потолка своей выборки, а не относительно 1.

Контекст у работы практический. Организаторы уже внедряют LLM: на ICLR 2025 провели рандомизированный тест подсказок для рецензентов, а AAAI 2026 добавила ИИ-рецензию к каждой статье основного трека. Исследование показывает, что дешёвая прямая оценка по абстракту с перекалибровкой может служить базовой линией. Но решения о приёме по ней принимать рано.