DiffusionART ускоряет RL-дообучение видеомоделей в 12 раз без тонкой настройки EMA

Команда исследователей опубликовала на arXiv метод DiffusionART для онлайн-обучения с подкреплением диффузионных моделей. Он нацелен на две известные болезни: медлительность Flow-GRPO и капризность DiffusionNFT. В главном эксперименте на HunyuanVideo-13B, где визуальное качество и качество движения входят в награду с равными весами, DiffusionART достигает позднего уровня средней награды DiffusionNFT в 12,02 раза быстрее по GPU-часам, а Flow-GRPO-Fast в 11,72 раза быстрее. Средняя награда на обучении при этом выше на 28,8% и 53,0% соответственно. Это препринт, независимых репликаций пока нет.

Где ломались прежние подходы

Онлайн-RL нужен, когда модель надо подогнать под награды, которые нельзя продифференцировать: оценку эстетики, качества движения, предпочтения людей. Методы обратного процесса вроде Flow-GRPO работают по траектории шумоподавления. Награда приходит одна на весь сэмпл, а шагов много. Какой из них что-то дал, неясно, поэтому credit assignment плохой, а обучение дорогое.

Методы прямого процесса вроде DiffusionNFT эффективнее, но держатся на аккуратно подобранной экспоненциальной скользящей средней (EMA) для off-policy обучения. Без неё обучение уходит в нестабильность. Авторы DiffusionART объясняют причину. По их анализу, NFT-подобные цели содержат скрытую силу согласованности между прямым и обратным процессами. Совместное обучение на положительных и отрицательных примерах гасит её только частично. А EMA стабилизирует процесс не благодаря off-policy роллаутам, как принято считать, а через «восстановление»: она возвращает параметры назад, когда модель дрейфует.

Как устроен DiffusionART

Название расшифровывается как Diffusion Reinforcement with Aggregation-First Reward Tilting. Сначала метод агрегирует награды всех сэмплов одного промпта в общее направление улучшения для состояний обратного процесса. Скрытая сила согласованности устраняется конструктивно, а не гасится частично. Вторым шагом идёт дополнительное обновление с маской trust region. Оно возвращает модель назад по мере дрейфа, то есть берёт на себя роль EMA, но подбирать её параметры не нужно.

Основные параметры работы:

• Главный тест: HunyuanVideo-13B, награды за визуальное качество и движение с равными весами.
• Выигрыш по GPU-часам до позднего уровня награды: 12,02× против DiffusionNFT, 11,72× против Flow-GRPO-Fast.
• Средняя награда на обучении: на 28,8% выше, чем у DiffusionNFT, и на 53,0% выше, чем у Flow-GRPO-Fast.
• Дифференцируемая reward-модель не требуется.
• Метод остаётся эффективным при меньшем числе сэмплов на промпт.
• Вариант DiffusionART-Pairwise работает с парными reward-моделями.
• Заявлена применимость к генерации изображений и видео без настройки под каждую задачу.

Что с этим делать на практике

Для команд, которые дообучают видео- и image-модели по reward-сигналам, главная ценность в стоимости. Прогон 13-миллиардной видеомодели измеряется тысячами GPU-часов, и сокращение на порядок меняет бюджет экспериментов. Отказ от подбора EMA убирает ещё один слой перебора гиперпараметров, а работа с меньшим числом сэмплов на промпт снижает цену каждого шага.

Вариант Pairwise пригодится там, где нет скалярной оценки, а есть только сравнения «лучше/хуже», например в данных от разметчиков.

Осторожность тоже нужна. Цифры в абстракте описывают среднюю награду на обучении и скорость достижения заданного уровня. Они не говорят о том, как результат выглядит для человека на отложенных промптах, и не исключают reward hacking, когда модель подгоняется под метрику, а не под качество. Прежде чем переносить метод в свой пайплайн, стоит дождаться кода, независимых воспроизведений и оценок на отложенных наборах с участием людей.