Ai2 показал: LLM-судьи новизны ломаются от пары слов в промпте

Ai2 опубликовал исследование Old Ideas, Novel Problems и вместе с ним бенчмарк, данные, код и автоматический пайплайн для сборки новых оценочных наборов. Вывод неприятный для всех, кто строит автоматизированную науку: LLM-судьи новизны крайне нестабильны. Одна смена формулировки в промпте сдвигает точность GPT-5.4 на 52,6 пункта: с 93,5% до 40,9%. Дорогие специализированные системы при этом оказались хуже простого промпта к Claude Opus 4.6.

Как собрали эталон из рецензий ICLR 2026

Генераторы идей вроде DataVoyager, AutoDiscovery, Theorizer и платформы Asta из экосистемы Ai2 выдают гипотезы быстрее, чем их успевают читать люди. Фильтровать их часто поручают другой модели, «судье новизны». Единого рецепта для такого судьи нет: каждая команда сама выбирает модель, промпт, формат сравнения, бюджет рассуждений и иногда поиск по литературе. Валидируют же судей обычно на статьях людей, а не на идеях ИИ, которые им потом предстоит оценивать.

Чтобы получить опорные метки, авторы не стали считать принятие статьи признаком новизны. Они вытащили из рецензий ICLR 2026 фрагменты, где рецензенты прямо обсуждают оригинальность. Так получились два пула:

• 154 высоконовые идеи: принятые статьи из топ-10% своей области, где новизну отметили положительно и никто её не оспорил;
• 145 малонновых идей: отклонённые статьи из нижних 10%, где рецензенты сомневались в оригинальности и никто не увидел новизны.

Проверка разметки: аннотатор согласился с полярностью сигнала в 47 из 50 случаев, и ни одно расхождение не изменило бы трактовку рецензента. Первый сценарий, Human-Only, сравнивает идеи людей. Во втором, Human+Generated, те же 154 человеческие идеи ставят в пару со 154 идеями простого LLM-генератора. Он получал только область исследований и просьбу предложить новую идею, без поиска, инструментов и итераций. Метки для сгенерированных идей слабые, но эксперт просмотрел 30 пар и во всех предпочёл человеческую идею, а ни одну сгенерированную новой не признал.

Одна фраза в промпте: минус 52 пункта

Судей было шесть: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6. Авторы меняли по одному фактору: промпт, бюджет рассуждений, доступ к смежным статьям, формат идей, число агрегируемых вердиктов и модель-генератор. Сильнее всего влиял промпт.

GPT-5.4 показали пары Human+Generated с двумя промптами. В первом ему сообщали, что рецензенты признали новой ровно одну идею из пары, и просили указать её. Во втором просто спрашивали, какая идея новая. Точность упала с 93,5% до 40,9%, а вердикт изменился больше чем в половине пар. На Human-Only тот же сдвиг дал около семи пунктов, хотя Claude Opus 4.6 там потерял 21 пункт. Судья может выглядеть стабильным на человеческих работах и вести себя иначе на идеях ИИ.

Универсального промпта нет. Если убрать инструкцию не считать новыми тривиальные и инкрементальные вклады, у одних судей точность растёт, у других падает. При сравнении идей двух генераторов (Opus 4.5 против Sonnet 4.5, GPT-5.4 против GPT-5.1) меняется от четверти до трети вердиктов. Это измеряется без предположений о том, какой генератор сильнее.

Дорогие системы проиграли дешёвому промпту

Ещё одно неожиданное наблюдение касается поиска и рассуждений. Агентный судья на GPT-5.6 Sol с максимальным бюджетом рассуждений и итеративным поиском по arXiv набрал 0,78 macro-F1. Claude Opus 4.6 с пятью заранее найденными аннотациями дал 0,89. Агент при этом стоил примерно в 10 раз дороже за решение.

Специализированные системы тоже не помогли (все на Claude Opus 4.6, Human+Generated):

• простой промпт Opus 4.6, низкий уровень рассуждений, мажоритарное голосование по трём вызовам: 0,854 macro-F1, $2,59 за весь прогон;
• Idea Novelty Checker (поиск по литературе с реранкингом): 0,642 macro-F1, $30,66;
• AI Scientist от Sakana AI (итеративный поиск по Semantic Scholar): 0,772 macro-F1, $82,05.

Простой базовый вариант оказался в 12–32 раза дешевле и точнее обоих.

Что проверить в своём пайплайне оценки

Если ваша система ранжирует или отсеивает идеи, гипотезы или исследовательские задачи с помощью LLM, вердикту одного промпта доверять нельзя. Прогоните судью минимум на двух-трёх формулировках и посчитайте долю изменившихся вердиктов: расхождение измеряется без всяких меток. Проверяйте его именно на сгенерированных идеях, а не только на человеческих статьях. Не берите дорогой агентный поиск по умолчанию: начните с простого промпта и голосования из трёх вызовов, и только потом платите в 10–30 раз больше за измеримый прирост. Код и данные Ai2 открыты, а пайплайн можно переиспользовать на рецензиях других конференций и областей.