CausalAlign лечит «забывчивость» видеомоделей: ошибки геометрии ниже на 20%

Видеогенераторы научились рисовать правдоподобные ролики, но у них остаётся неприятная болезнь: камера «плывёт». Через несколько секунд траектория уходит от заданной, геометрия сцены корёжится, а всё, что строится поверх такого видео, начинает ошибаться. Команда из PKU VaLuE Lab (Kai Zhu, Yiwu Zhong и соавторы) предлагает метод CausalAlign. Он снижает ошибки геометрической согласованности у Wan2.2 более чем на 20% и поднимает успешность роботизированных моделей действий на 10 пунктов на RoboCasa365.

Где модель теряет камеру

Главная идея работы в том, что авторы сначала ставят диагноз, а уже потом лечат. Они исследовали, как диффузионная видеомодель представляет, использует и сохраняет информацию о движении камеры (ego-motion). Инструментов два: линейные пробы, которые показывают, можно ли вытащить параметры движения из активаций слоя, и causal-интервенции, проверяющие, влияет ли это знание на результат.

Обе метрики ведут себя одинаково: растут, а затем падают, причём и по слоям сети, и по шагам денойзинга. Модель опирается на ego-motion на промежуточных стадиях, но к финалу не удерживает его. Авторы назвали эффект geometric state forgetting, то есть геометрическим забыванием состояния. Именно это, по их логике, объясняет дрейф на длинных горизонтах: сеть «понимает», как двигалась камера, но не переносит это понимание в итоговые кадры.

Delta-токены вместо полной сцены

Лечение строится на выравнивании представлений. Исследователи берут 3D-фундаментальную модель, которая хорошо знает геометрию, и строят из её признаков пространство delta-токенов. Каждый такой токен кодирует изменение между соседними кадрами, а не сам кадр. Это важно: статичный фон составляет большую часть видео, и если выравнивать признаки целиком, сигнал о движении тонет в избыточном содержимом сцены. Дельты заставляют надзор сосредоточиться именно на динамике.

Выравнивание применяют не ко всей сети, а в тех местах, где ego-motion начинает затухать. Так метод усиливает слабое звено, а не переписывает модель целиком.

Что получилось

Базовой моделью стала Wan2.2, её дообучали на датасетах DL3DV и RealEstate10K. Ключевые результаты:

• точность движения камеры, геометрическая согласованность и временная гладкость заметно выросли;
• ошибки геометрической согласованности снизились более чем на 20% относительно базовой модели;
• визуальное качество осталось на прежнем уровне, то есть выигрыш не куплен ценой мыла или артефактов;
• world action models (WAMs), использующие дообученный видеогенератор, показали прирост успешности на 10 пунктов в задачах мобильной манипуляции бенчмарка RoboCasa365.

Стек исследования: Wan2.2 как базовый видеогенератор, 3D-фундаментальная модель как источник «геометрической истины», DL3DV и RealEstate10K как обучающие данные, RoboCasa365 как проверка на воплощённых задачах.

Почему это важно за пределами видео

Интерес к видеомоделям как к «мировым моделям» для роботов растёт: робот прогнозирует будущее в виде видео и выбирает действие. Если предсказанная камера дрейфует, действие рассчитывается по искажённому будущему, и ошибка накапливается систематически. Работа показывает связку напрямую: улучшили геометрию в генераторе, и вырос процент успешных задач у агента.

Практический вывод для разработчиков такой. Прежде чем наращивать данные и параметры, имеет смысл прозондировать собственную модель и найти слой и шаг, где нужный сигнал пропадает. Delta-выравнивание с внешним 3D-экспертом дёшево по сравнению с переобучением с нуля и применимо к другим видеомоделям, а не только к Wan2.2. Код и страница проекта открыты, так что метод можно воспроизвести на своих данных. Ограничения тоже очевидны: результаты получены на конкретных датасетах и одном бенчмарке, и перенос на более длинные ролики и произвольные сцены ещё предстоит проверить.