LM2LM: Qwen3.8-27B обгоняет GPT-6-sol в идеях улучшения LLM и на 33% дешевле

Идея, что нейросеть сама будет улучшать нейросети, давно обсуждается как путь к рекурсивному самоулучшению. Команда авторов LM2LM показала рабочий вариант: языковую модель обучили с помощью RL генерировать эффективные предложения по улучшению LM. В проверке на отложенных задачах в восьми средах разработки, авторегрессионных и диффузионных, Qwen3.8-27B обошла GPT-6-sol. Та не уступила бы и с 300 реальными экспериментальными записями в контексте, но проиграла, а генерация данных у LM2LM обошлась на 33% дешевле.

Почему честную награду за идею не собрать

Главное препятствие здесь экономическое. Чтобы научить модель предлагать хорошие улучшения, RL нужно оценить десятки тысяч предложений. Каждое из них в пределе требует полного прогона обучения модели. Если считать по десять GPU-часов на прогон, одни только награды съедят сотни тысяч GPU-часов. Для большинства лабораторий это нереалистичный бюджет, и ему нужна дешёвая замена.

У замены есть своя проблема. Суррогатная оценка надёжна, пока политика генерирует предложения, похожие на те, на которых суррогат строился. Как только оптимизация начинает смещать распределение предложений, политика находит те, которые суррогат переоценивает. Классический reward hacking: модель учится нравиться оценщику, а не улучшать реальные модели.

Исследовательская мировая модель и сверка с реальностью

LM2LM решает обе проблемы связкой из двух элементов. Первый — research world model (RWM): замороженная LLM, которой в контекст подают реальные записи экспериментов. По ним она предсказывает, какой прирост даст новое предложение. RWM служит reward model для RL и заменяет тысячи полноценных тренировок одним вызовом модели.

Второй элемент — периодическая сверка. Предложения текущей политики, которые RWM оценила выше всего, действительно выполняют, а измеренные результаты добавляют в контекст RWM. Так оценщик видит именно тот участок пространства идей, куда сместилась политика, и перекалибруется там, где она рискует его обмануть. Самые подозрительные кандидаты, то есть именно те, что получили высокие оценки, проверяются настоящим запуском.

Ключевые параметры работы:

• политика: Qwen3.8-27B, обученная с помощью RL;
• reward model: замороженная LLM (RWM) с реальными экспериментальными записями в контексте;
• базовая линия: GPT-6-sol, которой дали 300 реальных записей в контексте;
• среды: восемь сред разработки LM, авторегрессионных и диффузионных;
• оценка: реальное исполнение предложений на отложенных задачах;
• экономия: на 33% ниже стоимость генерации данных;
• обобщение: перенос на семейство моделей, не встречавшееся при обучении.

Отдельно стоит выделить условия сравнения. GPT-6-sol получила сильную подсказку в виде 300 реальных записей, но модель меньшего масштаба с обученной способностью всё равно оказалась лучше. Выходит, накопленный опыт эффективнее передавать через обучение политики, чем через длинный контекст у более общей модели.

Где это пригодится на практике

Для команд, которые ведут много экспериментов по обучению моделей, самое ценное здесь в том, что журналы прошлых запусков превращаются в актив. Записи о том, какие изменения гиперпараметров, данных или архитектуры сработали, можно использовать как контекст для RWM и как источник обучающего сигнала для генератора идей. Дорогие прогоны тратятся только на проверку наиболее перспективных кандидатов.

Есть и осторожный вывод. Схема работает только при дисциплине: без регулярной проверки реальными запусками суррогат начнёт переоценивать идеи, и политика пойдёт за ним. Бюджет на настоящие эксперименты придётся закладывать в пайплайн как постоянную статью расходов. Перенос на незнакомое семейство моделей говорит, что накопленный опыт не привязан к одной архитектуре, но проверять его на собственных стеках всё равно придётся самим.