RealMe собирает объёмное видео 2K из минимума камер через диффузию

Команда исследователей представила RealMe — фреймворк, который строит объёмное (volumetric) видео из разреженных съёмок низкого разрешения и выдаёт результат в 2K, согласованный и между ракурсами, и во времени. В основе лежит видео-диффузионная модель: она улучшает исходные ролики, а уже по ним уточняется 4D-представление сцены. На публичном бенчмарке DNA-Rendering и на собственном датасете RealVV метод обходит современные аналоги по визуальному качеству и 4D-консистентности.

Почему плотные студии стали узким местом

Классическая реконструкция объёмного видео опирается на плотную многокамерную съёмку. Десятки синхронизированных камер вокруг объекта дают отличный результат, но стоят дорого, требуют подготовленного помещения и калибровки. Для кино и крупных продакшенов это терпимо. Для новостной студии, небольшой команды или съёмки «в поле» уже нет.

Последние работы пытались ослабить это требование с помощью генеративных моделей: берём несколько ракурсов и просим сеть дорисовать остальное. Проблемы известны. Разрешение таких систем ограничено, а главное, страдает 4D-согласованность. Если каждый ракурс и каждый кадр генерируются недостаточно связанно, геометрия «плывёт», детали мерцают, а при облёте виртуальной камерой картинка разваливается. RealMe нацелен именно на эти два места: разрешение и согласованность.

Диффузия, которая знает, где стоят камеры

Схема работает так. Из захваченных видео система строит вспомогательные данные и кодирует их в латенты вместе с layout-aware позиционными эмбеддингами, то есть с информацией о раскладке камер. Модель знает не только что она видит, но и откуда это снято.

Дальше в дело вступает видео-диффузионная модель. Авторы адаптировали в ней факторизованное пространственно-временное внимание под многоракурсную раскладку. Модель денойзит латенты сразу по точкам обзора и по времени, а затем декодирует их в улучшенные видео. Именно эти видео уточняют итоговое 4D-представление. По заявлению авторов, такая адаптация помогает уловить и динамику во времени, и связи между ракурсами, а значит, даёт более согласованную генерацию.

Отдельная деталь — латентный частотный лосс. Сгенерированные видео обычно чуть отличаются от реальных съёмок по тексту и мелким деталям: диффузия любит сглаживать. Чтобы сократить этот разрыв, авторы добавили частотный контроль прямо в латентном пространстве. Это дешевле, чем считать потери в пикселях, и при этом заставляет модель сохранять высокочастотные компоненты, которые отвечают за резкость.

Ключевые параметры:

• вход: разреженные видеозахваты низкого разрешения;
• выход: 4D-согласованные видео в 2K для реконструкции объёмного видео;
• ядро: видео-диффузионная модель с факторизованным пространственно-временным вниманием;
• кодирование: латенты плюс layout-aware позиционные эмбеддинги;
• обучение: латентный частотный лосс для сближения сгенерированных и реальных данных;
• оценка: DNA-Rendering и собственный датасет RealVV.

Кому это пригодится первым

Наиболее очевидные сценарии — VR и AR-контент, телеприсутствие, спортивные трансляции со свободной камерой, цифровые двойники людей для коммерции и развлечений. Везде, где сегодня упираются в стоимость студии с плотным массивом камер, подход «меньше камер, больше генерации» снижает порог входа.

Есть и ограничение, о котором стоит помнить. Когда детали достраивает диффузионная модель, часть картинки не снята, а синтезирована. Для развлечений и коммуникаций это приемлемо. Для задач, где важна документальная точность, например медицины или судебной реконструкции, потребуется отдельная оценка того, что именно модель дорисовала.

Второй вопрос — переносимость. Результаты получены на DNA-Rendering и на авторском RealVV, и главным тестом станет работа на чужих установках камер, с другим освещением и другими объектами. Если метод выдержит такую проверку, объёмное видео может перестать быть привилегией студий с дорогим оборудованием.