ForcingBooster вдвое сокращает шаги денойзинга в авторегрессионном видео

Исследователи опубликовали на arXiv препринт ForcingBooster: фреймворк, который сокращает общее число шагов денойзинга в авторегрессионных видеодиффузионных моделях примерно на 50%. Базой для сравнения служит четырёхшаговая модель, и, по заявлению авторов, визуальное качество остаётся сопоставимым. Метод работает с большинством существующих few-step авторегрессионных диффузионных моделей и требует лишь лёгкого модуля маршрутизации с небольшим дообучением.

Где пропадают вычисления

Авторегрессионные видеодиффузионные модели сейчас считаются одним из ведущих подходов к интерактивной генерации видео в реальном времени и к моделированию мира. Видео собирается чанк за чанком: каждый следующий фрагмент генерируется с опорой на предыдущие. Внутри чанка работает денойзинг, то есть последовательное очищение латентного представления от шума.

Схема везде одинакова. Все патчи получают одно расписание денойзинга и одно число вычислений функции (NFE). Авторы указывают на слабое место: видеосодержимое пространственно неоднородно. Статичный фон, простые текстуры и повторяющиеся элементы восстанавливаются легко. Движущиеся объекты, новые детали и области, которым нужен дополнительный контекст, требуют больше уточнений.

При единой норме расходов возникает вилка. Если оставить фиксированное число шагов, на лёгких патчах вычисления тратятся впустую. Если сократить шаги для всех сразу, сложные области остаются недоработанными, и страдает картинка.

Как устроена адаптивная маршрутизация

ForcingBooster динамически назначает число шагов каждому патчу отдельно. Простые патчи завершают денойзинг раньше, а сложные получают больше итераций уточнения. Решение принимает лёгкий модуль маршрутизации (роутер), который встраивается в уже обученную few-step модель. Полного переобучения генератора с нуля авторы не заявляют, обучение роутера описано как скромное.

Логика близка к идее условных вычислений в языковых моделях, где сложные токены получают больше «внимания» ресурсов, чем тривиальные. Здесь тот же принцип перенесён на пространственное измерение видео.

Что известно из заявленных результатов

• Сокращение общего числа шагов денойзинга по патчам: около 50%
• Эталон для сравнения: четырёхшаговая базовая модель
• Качество: сопоставимо с базой, деградация описана как пренебрежимо малая
• Дополнительные компоненты: лёгкий роутер и модест-обучение
• Совместимость: большинство существующих few-step авторегрессионных диффузионных моделей

Ограничения тоже есть, и в аннотации они не раскрыты. Половина шагов на уровне патчей не обязательно означает вдвое меньшую задержку. Патчи с разным числом итераций сложнее эффективно группировать на GPU, и итоговый выигрыш зависит от реализации и железа. Цифр по латентности и FPS в аннотации нет. Это препринт первой версии без рецензирования, а выводы построены на метриках, которые стоит перепроверить на независимых бенчмарках.

Практический вывод для команд

Для тех, кто строит интерактивную генерацию, игровые движки на нейросетях или world models, подход интересен тем, что бьёт в узкое место реального времени: стоимость одного чанка. Раз метод совместим с распространёнными few-step моделями, его можно проверить на уже работающем стеке без смены архитектуры.

При тестировании полезно смотреть на три вещи. Первая: реальную сквозную задержку, а не только число шагов. Вторая: поведение на динамичных сценах с резкой сменой кадра, где почти все патчи «сложные» и экономия сжимается. Третья: артефакты на границах между патчами, которые остановились на разных шагах. Если код и веса появятся в открытом доступе, именно эти проверки покажут, переносится ли двукратная экономия из статьи в продакшен.