Модель на 8B параметров обошла Claude Opus 4.8 в генерации научных идей

Модель на 8 млрд параметров научилась предлагать научные идеи разнообразнее, чем Claude Opus 4.8 и GPT-6 Astra. Авторы работы из Hugging Face Daily Papers обучили её с подкреплением, где награда считается не за отдельную идею, а за весь набор из K идей, сгенерированных за один проход. На бенчмарке без утечек данных по метрике creative utility, которая объединяет качество и разнообразие, маленькая модель вышла вперёд. Эксперты и кодинг-агент при этом не нашли потери в практической ценности идей.

Проблема: каждая идея хороша, но все похожи

Генерация идей открывает исследовательский пайплайн, и LLM всё чаще автоматизируют именно этот шаг. Большинство работ оптимизируют качество отдельной идеи. Если попросить у модели десять гипотез, она нередко выдаёт десять вариаций одной. Для этапа, где нужна ширина поиска, это тупик: проверять одно и то же в разных формулировках дорого и бессмысленно.

Авторы изучают постановку document-grounded ideation. На входе набор предыдущих статей. На выходе модель должна предложить множество идей, и у каждой три требования: высокое качество, заметное отличие от остальных и опора на исходные документы.

Как устроено обучение

В одной генерации модель пишет K структурированных карточек идей, привязанных к исходным статьям. Затем набор оценивается целиком. Качество каждой идеи взвешивается по её расстоянию от идей, написанных раньше. Идея, похожая на предшественниц, почти ничего не приносит в награду. Модель учится уводить каждую новую идею от предыдущих.

Это set-level RL-objective. Оптимизация идёт по поведению на уровне набора, а не по отдельным сэмплам, поэтому повторы становятся невыгодными прямо в процессе обучения. Одной подсказкой в промпте вроде «будь разнообразнее» этого эффекта не добиться.

Что показали измерения

• Модель: 8B параметров, обучена с set-level наградой.
• Бенчмарк: без контаминации, по метрике creative utility (качество плюс разнообразие). Результат выше, чем у Claude Opus 4.8 и GPT-6 Astra.
• Экспертная оценка: пилотное исследование на четырёх экспертах. Наборы признаны такими же перспективными, как у Claude Opus 4.8, и содержат немного больше уникальных идей.
• Исполнимость: кодинг-агент запускал proof-of-concept эксперименты по идеям. Success@k модели сопоставим с Claude Opus 4.8.

Важнее всего последний пункт. Разнообразие легко купить за счёт бредовых идей, которые нельзя проверить. Здесь этого не случилось: агент реализует идеи 8B-модели примерно так же успешно, как идеи Opus 4.8.

У результата есть оговорки. Четыре эксперта дают пилот, а не статистику, и «чуть больше уникальных идей» лежит в пределах осторожной интерпретации. Из аннотации не видно, насколько итог зависит от выбранной функции расстояния и от модели, оценивающей качество. Это придётся смотреть в полном тексте статьи.

Что можно взять в работу

Команде, которая строит агента-исследователя или систему поиска гипотез, стоит перенять три вещи. Первая: оптимизировать набор, а не сэмпл. Если на выходе нужна пачка вариантов, награда должна смотреть на пачку. Вторая: генерировать идеи последовательно и явно штрафовать близость к уже написанным. Третья: проверять исполнимость автоматически, например через кодинг-агента с быстрыми proof-of-concept запусками, иначе рост разнообразия легко принять за прогресс.

Есть и экономический вывод. Модель на 8B гораздо дешевле запускать в больших объёмах, чем закрытые флагманы. Для широкого брейншторма, где нужны сотни разных гипотез, это может сдвинуть расчёт в пользу специализированной небольшой модели. Публикация весов и кода в аннотации не упоминается, так что пока это ориентир для собственных экспериментов, а не готовый инструмент.