SkyRL и vLLM дообучили Mistral Large 4 с RL: AIME вырос с 64% до 75%

Команда проекта vLLM и лаборатория NovaSky AI сообщили, что их фреймворк SkyRL с первого дня умеет проводить обучение с подкреплением (RL) для Mistral Large 4. Кластер из 8 узлов Nvidia GB200 за 75 шагов обучения поднял результат модели на AIME 2024 примерно с 64% до 75%. AIME 2024 — это 30 задач американской олимпиады по математике, где ответ всегда целое число. Метрика avg@8 означает, что на каждую задачу модель делает 8 попыток, а итоговая доля верных ответов усредняется. Так результат меньше зависит от удачи в одной попытке.

Что здесь называется Day-0 и зачем это нужно

Day-0 значит, что поддержка готова в день релиза модели. Обычно новую крупную модель сначала можно только запускать, а доучивать её приходится позже, когда сообщество допишет код под её архитектуру. Здесь заявлено, что связка SkyRL и vLLM работала с Mistral Large 4 сразу.

Обучение с подкреплением устроено так. Модель получает задачу и пишет несколько вариантов решения. Эти варианты называются rollouts, «прогоны». Дальше каждый прогон проверяют: совпал ли ответ с эталонным. За верный ответ модель получает награду, и веса сдвигаются так, чтобы удачные цепочки рассуждений стали вероятнее. Для математики такая проверка дешёвая и однозначная, поэтому AIME и подобные наборы задач часто используют для RL.

Кто в связке что делает

Главная инженерная идея в разделении труда. Два этапа цикла нагружают железо по-разному, и каждый ведёт отдельный инструмент:

• vLLM генерирует прогоны. Это движок для быстрого инференса, то есть запуска модели на ответах. Генерация занимает большую часть времени RL-цикла, поэтому здесь нужен быстрый сервер.
• FSDP2 или Megatron отвечают за обучение. FSDP2 — вторая версия подхода из PyTorch, где параметры и градиенты раздроблены между GPU. Megatron — фреймворк Nvidia для обучения очень больших моделей. SkyRL позволяет выбрать любой из двух.
• SkyRL от NovaSky AI связывает всё в один процесс: берёт прогоны от vLLM, считает награды и передаёт данные на обучение.

Практический смысл в том, что инженер не пишет склейку между движком генерации и обучающим кодом. Он берёт готовую связку и подставляет модель.

Почему обучали LoRA на 4-битном чекпойнте

В посте названы два приёма, которые удешевляют процесс.

Первый — LoRA. Вместо обновления всех весов огромной модели обучают небольшие дополнительные матрицы, которые подключаются поверх неё. Они занимают малую долю памяти по сравнению с самой моделью, а сам Mistral Large 4 остаётся замороженным.

Второй — чекпойнт в формате NVFP4. Это 4-битное представление чисел, которое Nvidia поддерживает на архитектуре Blackwell, к которой относятся GB200. Веса в таком формате весят в разы меньше, чем в 16-битном. Большая модель помещается на меньшем числе узлов, а генерация идёт быстрее.

В сумме получается скромная по меркам больших моделей конфигурация: 8 узлов, 75 шагов, прирост около 11 процентных пунктов на одном бенчмарке.

Как читать этот результат

Цифры взяты из собственного сообщения проекта vLLM, независимой перепроверки пока нет. Прирост на AIME 2024 показывает, что RL-цикл работает на этой модели и железе. Он не доказывает, что модель стала лучше в целом. На математических задачах с однозначной проверкой RL обычно даёт заметный эффект, а вот на открытых задачах (письмо, агентные сценарии, код в большом репозитории) результат нужно мерить отдельно.

Для инженеров вывод такой. Доучивать крупную открытую модель с подкреплением стало проще: готовая связка из открытых компонентов работает с первого дня релиза, а LoRA и NVFP4 снижают требования к железу. Для компаний, у которых есть собственные задачи с автоматической проверкой ответа, это путь подтянуть модель под себя без полного переобучения. Остаётся проверить на своих данных, сколько из этих 11 пунктов получится повторить.