Ai2: пара слов в промпте обвалила точность GPT-5.4 в оценке новых идей с 93,5% до 40,9%
Если одна нейросеть судит новизну идей другой, итог зависит от формулировки вопроса. Институт Ai2 показал GPT-5.4 пары «идея человека — идея ИИ»: с подсказкой, что новая ровно одна, модель угадывала в 93,5% случаев, а при простом вопросе — в 40,9%, хуже монетки. Поэтому перед использованием ИИ-судью проверяйте на нескольких вариантах промпта.
AI-обработка оригинала Ai2 (Allen Institute); редакция Hamidun News
Представьте систему, где одна нейросеть придумывает научные гипотезы, а другая решает, какая из них действительно новая, а какая пересказывает уже известное. Такую вторую модель называют «LLM-судьёй новизны». Институт Ai2 (Allen Institute for AI) проверил, можно ли ей доверять, и получил тревожный результат. GPT-5.4 просили выбрать более новую идею из пары «идея человека и идея ИИ». Когда промпт подсказывал, что ровно одна из двух идей признана новой, модель угадывала в 93,5% случаев. Когда её просто спрашивали, какая идея новая, точность падала до 40,9%, то есть ниже случайного угадывания. Менялось несколько слов в запросе, сами идеи оставались теми же.
Это касается всех, кто ставит LLM фильтром или рейтингом: отбирает идеи для агентов-исследователей, сравнивает генераторы гипотез, оценивает черновики продуктов. Если вердикт держится на формулировке промпта, цифры в вашем дашборде могут отражать не качество идей, а удачный запрос.
Как проверяли судей
Главная трудность в том, что эталона новизны нет. Исследователи взяли рецензии конференции ICLR 2026 и искали в них не факт принятия статьи, а места, где рецензенты прямо обсуждают оригинальность. Статью могут принять за сильные эксперименты, хотя идея в ней вторична, и наоборот.
Так собрали два набора. В первом 154 идеи из лучших 10% принятых работ, где рецензенты хвалили новизну и никто её не оспаривал. Во втором 145 идей из худших 10% отклонённых работ, где рецензенты сомневались в оригинальности, а похвалы не было. Аннотатор согласился с извлечённой оценкой в 47 из 50 проверенных случаев.
Для второго сценария к тем же 154 сильным человеческим идеям добавили 154 идеи простого генератора. Ему давали только область исследований и просьбу предложить новую идею, без поиска по литературе и итераций. Эти метки слабые: сгенерированные идеи считали менее новыми по умолчанию. Эксперт проверил 30 пар, во всех предпочёл человеческую идею и ни одну из сгенерированных новой не назвал.
Судьями выступили шесть моделей: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6. Они ставили идее оценку и выбирали более новую из пары.
Несколько слов в промпте решают всё
Сильнее всего результат менялся от формулировки запроса. Для GPT-5.4 в первом варианте промпт сообщал, что рецензенты нашли новой ровно одну идею из двух. Во втором модель просто спрашивали, какая идея новая. Точность упала с 93,5% до 40,9%, а вердикт изменился больше чем в половине пар.
На парах из двух человеческих идей тот же приём сдвинул точность всего на семь пунктов. Судья может выглядеть стабильным на человеческих работах и вести себя непредсказуемо на идеях от ИИ, то есть именно на тех, ради которых его и ставят. У Claude Opus 4.6 на человеческих парах сдвиг всё же составил 21 пункт.
Универсального лучшего промпта нет. Если убрать предупреждение «не считай тривиальные улучшения новыми», у одних моделей точность растёт, у других падает. Удачный промпт не переносится между моделями. При сравнении идей двух генераторов, например Opus 4.5 против Sonnet 4.5, от четверти до трети вердиктов менялись при смене промпта. Для этого вывода не нужно знать, какой генератор лучше.
Дорого не значит точно
Ещё один результат важен тем, кто собирает агентов. GPT-5.6 Sol с максимальным бюджетом рассуждений и живым поиском по arXiv набрал 78 баллов из 100 по метрике macro-F1. Она показывает, насколько хорошо судья находит и новые, и неновые идеи: чем выше, тем лучше. Claude Opus 4.6 с пятью заранее найденными аннотациями набрал 89 баллов. Агентный вариант при этом стоил примерно в десять раз дороже за решение.
Специализированные системы тоже проиграли. Простой промпт Claude Opus 4.6 с низким бюджетом рассуждений и голосованием по трём запускам дал 85,4 балла при общей стоимости $2,59. Idea Novelty Checker, конвейер с поиском и переранжированием по литературе, получил 64,2 балла за $30,66. AI Scientist от Sakana AI, который итеративно ищет в Semantic Scholar, получил 77,2 балла за $82,05. Обе системы работали на Opus 4.6.
Что с этим делать
Первое: любая автоматическая оценка новизны, будь то отбор идей, рейтинг генераторов или фильтр в агентной системе, требует проверки на устойчивость. Прогоните несколько формулировок промпта и посчитайте, сколько вердиктов меняется. Второе: не платите за сложный конвейер, пока не сравнили его с простым промптом и голосованием. Третье: проверяйте судью на тех данных, которые он реально будет оценивать, то есть на текстах ИИ, а не на опубликованных статьях.
Есть и ограничения. Метки для сгенерированных идей слабые, генератор был намеренно простым, а основа бенчмарка — рецензии одной конференции по ML. Сами авторы называют оценку новизны открытой проблемой. Бенчмарк, данные, код и конвейер для создания новых наборов оценки Ai2 опубликовал, и их можно применять к другим рецензиям и научным сообществам.
- 22 нояб. 2026 г.Imagecaster учит нейросеть вашему лицу по 10–100 фото и примеряет одежду дома
- 22 нояб. 2026 г.Математик Anthropic с Claude заявил о доказательстве гипотезы Римана без читаемого текста
- 22 нояб. 2026 г.Nasdaq 100 за неделю упал на 10,4%: худший результат со времён пандемии
- 22 нояб. 2026 г.Рабочий профиль Android закрыл утечку реального IP, которую не ловят Happ и v2rayNG
Вопросы и ответы по материалу
Что известно по теме: как проверяли судей?
Главная трудность в том, что эталона новизны нет. Исследователи взяли рецензии конференции ICLR 2026 и искали в них не факт принятия статьи, а места, где рецензенты прямо обсуждают оригинальность. Статью могут принять за сильные эксперименты, хотя идея в ней вторична, и наоборот. Так собрали два набора. В первом 154 идеи из лучших 10% принятых работ, где рецензенты хвалили новизну и никто её не оспаривал.
Что известно по теме: несколько слов в промпте решают всё?
Сильнее всего результат менялся от формулировки запроса. Для GPT-5.4 в первом варианте промпт сообщал, что рецензенты нашли новой ровно одну идею из двух. Во втором модель просто спрашивали, какая идея новая. Точность упала с 93,5% до 40,9%, а вердикт изменился больше чем в половине пар. На парах из двух человеческих идей тот же приём сдвинул точность всего на семь пунктов.
Что известно по теме: дорого не значит точно?
Ещё один результат важен тем, кто собирает агентов. GPT-5.6 Sol с максимальным бюджетом рассуждений и живым поиском по arXiv набрал 78 баллов из 100 по метрике macro-F1. Она показывает, насколько хорошо судья находит и новые, и неновые идеи: чем выше, тем лучше. Claude Opus 4.6 с пятью заранее найденными аннотациями набрал 89 баллов. Агентный вариант при этом стоил примерно в десять раз дороже за решение. Специализированные системы тоже проиграли.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.