Единое обучение подняло результат на HumanEval+ до 24,96% pass@1

Обучение языковой модели сегодня напоминает цех с несколькими отдельными линиями. Сначала модель читает огромный корпус текстов, затем осваивает более специализированные данные, после этого учится выполнять инструкции и только потом получает обратную связь через RL. На каждом переходе меняются данные, код, инфраструктура и команда. Заодно появляется знакомая проблема: улучшая один навык, модель может частично забыть другой.

Авторы работы Training Foundation Models with a Single Algorithm проверили, можно ли превратить эту эстафету в один непрерывный процесс. Их ответ: разные этапы можно представить как обучение на целевых распределениях данных, смешать примеры в общем потоке и оптимизировать единый взвешенный по токенам loss максимального правдоподобия. Даже обновления политики в RL здесь сводятся к подгонке вероятностей ответов с учётом полученной награды.

Как это выглядит на простом примере

Представьте небольшую модель, которую сначала учат обычному языку, затем логическим головоломкам, а потом программированию. Классический конвейер запускает три последовательных тренировки. В Unified Training обучающий сервер может получать примеры всех трёх типов одновременно, но в разных пропорциях: много общеязыковых данных, меньше головоломок и небольшую долю задач с наградой за правильный код.

Вес каждого потока задаёт, чему модель уделяет больше внимания прямо сейчас. Старые данные при этом не исчезают полностью, поэтому модель реже теряет уже освоенные способности. Это похоже не на выпускника, который закрыл учебник после экзамена, а на специалиста, который продолжает понемногу повторять базу во время практики.

На логических задачах результат сильно зависел от состава смеси: примерно от 4% до 39% pass@1 на задачах знакомого размера. Поэтапные варианты показывали от 12,24% до 24,54%. На новых задачах с 12 персонажами единый подход давал примерно 1–13%, тогда как выбранный поэтапный вариант — 5,58%. Разброс здесь важнее красивого максимума: сам алгоритм не избавляет от настройки пропорций данных.

В опыте с моделью на 0,76 млрд параметров RL на математике, а затем на коде дал 23,67–24,96% pass@1 на HumanEval+ при доле смешиваемых данных от 0,5% до 5%. Обычное последовательное обучение получило 22,94%. Разница небольшая, но она показывает, что сохранение прежнего потока данных способно помочь следующему этапу адаптации.

Где заканчивается доказательство

Главное ограничение работы — масштаб. Все эксперименты проведены на моделях меньше одного миллиарда параметров. Более того, для модели на 0,76B объединение использовали лишь во время финального RL, а не на всём пути от предобучения до готового ассистента. Поэтому утверждать, что отдельные конвейеры уже не нужны, рано.

Не найдено и универсального расписания смешивания. Одна пропорция лучше решает знакомые головоломки, другая — новые задачи, третья — код. В реальном продукте к этому добавятся стоимость вычислений, качество фильтрации данных, задержки асинхронной системы и конфликтующие цели безопасности.

Что делать командам

Разработчикам собственных моделей стоит воспринимать Unified Training как проверяемую инженерную гипотезу. Не нужно сразу переписывать весь стек. Можно начать с узкого опыта: на этапе SFT или RL оставить небольшую долю данных предыдущего этапа, сравнить качество новых навыков и степень забывания на фиксированном наборе тестов.

Продуктовым командам полезна другая мысль: границы между предобучением, дообучением и RL могут быть удобством организации, а не фундаментальным свойством обучения. Если результат воспроизведётся на больших моделях, один асинхронный поток упростит передачу данных между этапами и позволит быстрее менять приоритеты. Пока же ценность работы не в обещании «одного алгоритма для всего», а в коде, модели и конкретной схеме эксперимента, которую можно проверить на своём наборе задач.