DynStream из Пекина собирает динамическую 3D-сцену из видео без поз камеры

Команда из Пекинского университета, VGI Labs и Калифорнийского университета опубликовала DynStream. Авторы называют его первым крупномасштабным фреймворком, который реконструирует динамические сцены на 3D-гауссианах по принципу feed-forward из потокового видео и без заранее известных поз камеры. Сценарий простой: человек идёт по улице с камерой, вокруг движутся люди и машины, а трёхмерная модель сцены растёт прямо по ходу съёмки. Сразу оговоримся: в доступном описании нет таблиц с метриками, так что оценивать заявленный уровень качества пока рано.

Три проблемы одновременно

Каждая из трёх задач по отдельности уже изучена. Вместе они дают очень неудобную конструкцию.

Первая проблема — отсутствие будущего. В офлайн-реконструкции алгоритм видит весь ролик и может итеративно уточнять геометрию. В потоковом режиме он знает только прошлое и текущий кадр, а решение нужно выдать сразу.

Вторая — неоднозначность движения. Сдвиг пикселей на экране складывается из перемещения камеры и перемещения самого объекта. Без поз камеры модель должна сама разложить это на составляющие. Ошибка в одну сторону превращает припаркованную машину в движущуюся, в другую — размазывает пешехода по стене.

Третья — склейка во времени. Улица, снятая минуту назад, и перекрёсток, который камера видит сейчас, должны лечь в одну систему координат. Дрейф накапливается: небольшая ошибка в начале превращается в смещённые здания через несколько сотен метров. Динамические объекты при этом оставляют «призраков», если их не отделить от статичного фона.

Почему feed-forward и гауссианы

Классический 3D Gaussian Splatting требует оптимизации под каждую сцену: десятки минут вычислений и точные позы камеры, которые обычно получают отдельной структурой из движения. Для потокового сценария это не работает. Feed-forward-подход заменяет оптимизацию одним проходом нейросети, которая сразу предсказывает параметры гауссиан по входным кадрам. Отказ от поз убирает ещё одну внешнюю зависимость, а вместе с ней и источник сбоев на динамичных сценах, где классические методы оценки поз часто ломаются.

Из открытых данных следует, что DynStream совмещает именно эти три свойства: потоковость, динамику и отсутствие поз. Прежние feed-forward-работы чаще закрывали одно-два из них: либо статичные сцены, либо короткие клипы, либо известные позы.

Что известно о системе

• Авторы: Пекинский университет, VGI Labs, Калифорнийский университет.
• Вход: непрерывный видеопоток, позы камеры не требуются.
• Выход: динамическая сцена в виде 3D-гауссиан, обновляемая по мере поступления кадров.
• Режим работы: потоковый, без доступа к будущим кадрам.
• Заявленный статус: первый крупномасштабный фреймворк такого класса.
• Метрики качества, скорость и размер модели в доступном описании не приведены.

Где это пригодится и что проверять

Основные потребители такой технологии — робототехника и автономное вождение. Роботу и беспилотнику нужна живая трёхмерная карта, где отделены статичная инфраструктура и движущиеся объекты. Вторая ниша — AR/VR и захват пространства смартфоном: человек снимает комнату или улицу и сразу получает фотореалистичную модель без долгой обработки.

При чтении статьи и кода стоит смотреть на конкретные вещи. Первое — длина последовательностей, на которых показана устойчивость: десятки кадров или тысячи. Второе — частота обновления на реальном GPU, потому что слово «потоковый» без задержки в миллисекундах мало что значит. Третье — поведение на сценах, где камера почти неподвижна, а движется всё вокруг. Именно там методы без поз чаще всего путают эго-движение и движение объектов. Если авторы выложат веса и датасет, сообщество быстро проверит, насколько заявка на «первую» систему подтверждается на чужих данных.