S3AC возвращает критика в RL для LLM: прирост от 1.5B до 397B параметров

Исследователи из Shanghai AI Laboratory предложили S3AC (Stabilized, Selective, and Scalable Actor-Critic) — практический рецепт обучения value-критика для RL с проверяемыми наградами на длинных цепочках рассуждений. Метод проверили на dense- и MoE-моделях от 1.5B до 397B параметров. Он обошёл современный вариант GRPO под названием GRPO-X. На 35B S3AC сохранил обучение с одним роллаутом на промпт, а критик-фри базовые линии после первых улучшений начали деградировать.

Почему индустрия сбежала от критика

В RLVR для длинных CoT критик давно считается дорогой и капризной деталью. Его нужно обучать отдельно, он съедает память и вычисления, а на длинных траекториях ведёт себя нестабильно. Поэтому большинство команд используют critic-free методы вроде GRPO: для каждого промпта генерируют группу ответов и считают базовую линию по среднему результату группы.

У этого подхода две известные слабости. Первая: нет токен-уровневого распределения заслуг (credit assignment). Вся траектория получает одну оценку, хотя ошибка могла случиться в нескольких конкретных шагах рассуждения. Вторая: приходится генерировать группы роллаутов, чтобы вообще получить базовую линию для промпта. Это дорого, а на лёгких и непосильных задачах часть генераций пропадает впустую.

Критик закрывает обе проблемы: он выдаёт преимущества по токенам и базовую линию для каждого промпта. Авторы S3AC объясняют, почему на длинных CoT он не взлетал. Во-первых, в обучающих данных критика слабо представлены траектории разной длины. Во-вторых, в начале обучения градиенты доминирует свежеинициализированная value head и дестабилизирует остальную сеть.

Рецепт S3AC и выбор промптов до генерации

Главный вклад работы — набор приёмов, который делает обучение критика стабильным на длинных рассуждениях. Обученный критик даёт оба нужных сигнала: токен-специфичные преимущества и промпт-специфичные базовые линии.

Вторая идея — Difficulty-Aware Prompt Sampling (DAPS). Базовая линия критика показывает, насколько промпт трудный для модели прямо сейчас. DAPS объединяет эту оценку с историей исходов по промпту и выбирает, какие задачи стоит отправлять на генерацию. Отбор идёт до роллаутов, поэтому лишние генерации не тратятся. Офлайн-инициализация сложности не нужна: не надо заранее прогонять датасет через модель и размечать его по трудности.

• Метод: S3AC, actor-critic для LLM-рассуждений с проверяемыми наградами
• Что даёт критик: токен-специфичные преимущества и промпт-специфичные базовые линии
• Селекция данных: DAPS, отбор промптов по оценке сложности и истории исходов до генерации
• Диапазон моделей: dense и mixture-of-experts, от 1.5B до 397B параметров
• Базовая линия для сравнения: GRPO-X, современный вариант GRPO
• Режим с одним роллаутом: на 35B S3AC продолжает обучаться, а протестированные critic-free методы деградируют после первых улучшений
• Команда: Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• Код: репозиторий InternLM/xtuner на GitHub
• Публикация: arXiv 2610.35518, Hugging Face Daily Papers

Самый показательный результат — режим одного роллаута. Group-based методы без группы лишаются базовой линии, и на 35B после начального прироста обучение у них проседает. Критик же оценивает базовую линию сам, поэтому качество не просаживается. Раз метод масштабируется до 397B, речь идёт не о лабораторной игрушке.

Кому и когда стоит смотреть на S3AC

Команды, которые дообучают reasoning-модели через RLVR, упираются в стоимость роллаутов. Выбор промптов по сложности до генерации экономит именно эту статью расходов. Если группа ответов на задачу заведомо даёт одинаковый результат, она почти не несёт обучающего сигнала. DAPS пытается не тратить на такие задачи вычисления.

Второй практический плюс — устойчивость при малом числе роллаутов на промпт. Это пригодится там, где генерация длинных цепочек очень дорога, например на крупных MoE. Реализация доступна в xtuner, поэтому проверить метод на собственных задачах можно без написания пайплайна с нуля.

Ограничения тоже понятны: критик остаётся дополнительным компонентом, а превосходство над GRPO-X показано на тестовом наборе моделей и конфигураций авторов. Независимые воспроизведения покажут, насколько рецепт переносится на другие домены наград и другие семейства моделей.