MagicBeanStalk поднял gpt-oss-120b с 61,2 до 69,8 балла на математике

Авторы препринта MagicBeanStalk утверждают, что большая часть открытых данных для RLVR бесполезна для конкретной модели. В объединённом математическом корпусе на 78K задач около 88% проблем при фиксированной политике и бюджете роллаутов либо решаются в каждой попытке, либо проваливаются в каждой. Предложенный алгоритм рекурсивно выращивает из сложных задач новые, откалиброванные по трудности. В результате gpt-oss-120b вырос с 61,2 до 69,8 балла (+8,6) на восьми математических бенчмарках, а DeepSeek v4Flash с 72,4 до 77,9 (+5,4) при бюджете 16K токенов.

Ловушка нулевого преимущества

RLVR, обучение с подкреплением на проверяемых наградах, обычно масштабируют количеством задач. Авторы предлагают смотреть на другое: даёт ли набор данных полезный сигнал конкретной модели при конкретном бюджете. Они описывают эффективность датасета как функцию трёх переменных: самих задач, целевой политики и числа роллаутов на обучение.

В методах с групповой нормировкой награды, вроде GRPO, если все попытки по задаче получили одинаковый результат, преимущество равно нулю и градиента нет. Именно в такую ситуацию, по данным статьи, попадает почти весь объединённый корпус из популярных RLVR-датасетов. Лёгкие задачи решаются всегда, тяжёлые не решаются никогда, и учиться не на чем.

Фильтрация частично помогает: она концентрирует оставшиеся задачи с разбросом результатов. Но она только отбирает и при этом выбрасывает самые трудные примеры, а в них и лежат нужные модели рассуждения. Простой ход тоже не сработал: если просить учителя-LLM напрямую вариировать трудные задачи, нужной калибровки не получается.

Как устроен алгоритм

MagicBeanStalk работает в два прохода: нисходящая декомпозиция и восходящий рекурсивный синтез. Из исходной задачи (seed) он вытаскивает операции рассуждения и способы их композиции, затем собирает из них семейства принципиально новых задач, сохраняя «чертёж рассуждения» оригинала. Сложность подбирается под политику и бюджет: часть роллаутов должна быть успешной, часть провальной, и хотя бы одно верное решение должно уместиться в лимит обучения.

Ключевые цифры из статьи:

• gpt-oss-120b: 61,2 → 69,8 (+8,6) на 8 математических бенчмарках, бюджет 16K токенов;
• DeepSeek v4Flash: 72,4 → 77,9 (+5,4) в тех же условиях;
• обучение на полном исходном корпусе в 78K задач: лишь +1,1;
• лучшее отфильтрованное подмножество реальных данных: +5,8;
• финансы: больше 14K проверяемых задач синтезировано всего из 340 решений;
• прирост над базой в финансах: +6,9 на SecQue и +2,4 на FinanceBench.

Сравнение с фильтрацией показательно: синтетика обгоняет лучший реальный срез на 2,8 балла для gpt-oss-120b. Размер корпуса в 78K задач при этом оказывается почти бесполезным.

Что учесть командам, которые обучают модели

Практический вывод простой: перед запуском RLVR стоит измерить долю задач с нулевой дисперсией результатов для своей модели и своего бюджета роллаутов. Если она близка к 88%, значительная часть вычислений уйдёт впустую, и вместо увеличения датасета разумнее заняться его калибровкой. Пример с финансами показывает, что метод можно запускать и там, где размеченных данных мало: 340 решений хватило на 14K проверяемых задач.

Оговорки очевидны. Это препринт первой версии, результаты не прошли рецензирование и получены самими авторами. Прирост в финансах скромнее, чем в математике, а метод требует проверяемых ответов, то есть в областях без чёткого верификатора его не применить. Независимые воспроизведения на других моделях и бюджетах покажут, насколько выводы устойчивы.