CompactSplat распределяет 3D-гауссианы по содержанию кадра, а не по пикселям

Группа исследователей опубликовала CompactSplat — feedforward-фреймворк для реконструкции 3D-сцен по малому числу ракурсов. Метод не требует оптимизации под каждую сцену и меняет саму логику размещения 3D-гауссианов. Вместо схемы «один или несколько гауссианов на пиксель» он распределяет примитивы по содержанию изображения. Метод проверили на трёх бенчмарках: RealEstate10K, DL3DV и ScanNet. По заявлению авторов, он обходит предыдущие подходы и по стандартным метрикам, и по согласованности рендера в высоком разрешении, а примитивов требует существенно меньше.

Почему гауссиан на каждый пиксель — расточительство

Обобщаемый 3D Gaussian Splatting в feedforward-варианте работает так: сеть смотрит на входные кадры и за один проход выдаёт набор гауссианов, из которых потом рендерится сцена. Нет долгой подгонки под конкретную комнату, нет минут или часов на оптимизацию. По такой схеме устроены многие современные методы, включая pixelSplat и MVSplat: каждому пикселю входного изображения достаётся свой примитив, а иногда и несколько.

У этой простоты есть цена. Белая стена, чистое небо или ровный пол занимают в кадре огромную площадь, но информации в них почти нет. Для них хватило бы десятка крупных гауссианов, а сеть тратит тысячи. Получается раздутое представление, которое съедает память и замедляет рендер. Вторая проблема — геометрия. Плоскости в реальных сценах встречаются постоянно, но равномерная раздача примитивов не использует это знание. Структура моделируется хуже, чем могла бы.

Текстура подсказывает, где ставить примитивы

CompactSplat решает обе проблемы одним механизмом. Сначала изображение разбивается на области с учётом текстуры, затем иерархическая выборка решает, сколько гауссианов нужно каждой области. Сложные зоны с мелкими деталями получают плотную россыпь примитивов. Плоские участки покрываются «плиткой» из увеличенных гауссианов, масштаб которых подстраивается под размер области.

Так метод использует геометрический приор плоских поверхностей напрямую, а не надеется, что сеть выучит его сама. Распределение становится адаптивным: бюджет примитивов идёт туда, где он влияет на качество картинки.

Ползунок между качеством и памятью

Отдельная практическая деталь — динамический контроль разреженности на этапе инференса. Плотность гауссианов можно менять без переобучения сети. Одну и ту же модель можно запускать в «тяжёлом» режиме для максимального качества или в лёгком, когда важен объём памяти. Обычно для такого компромисса нужны разные модели или дообучение.

Что известно о методе:

• задача: реконструкция 3D-сцены по разреженным ракурсам без оптимизации под сцену;
• представление: 3D Gaussian Splatting, feedforward-генерация;
• ключевые компоненты: пространственное разбиение по текстуре, иерархическая выборка, масштабно-модулированные примитивы для плоских областей;
• управление: регулировка разреженности на инференсе без повторного обучения;
• бенчмарки: RealEstate10K, DL3DV, ScanNet;
• результат: лучшие метрики и стабильность рендера в высоком разрешении при меньшем числе примитивов.

Где экономия гауссианов окупится первой

Компактность важна там, где сцену нужно строить быстро и показывать на ограниченном железе. Это AR и VR на мобильных устройствах, превью недвижимости, где RealEstate10K уже стал стандартным тестом, а также навигация роботов, которым нужна карта окружения без долгой обработки. В таких сценариях меньше примитивов означает меньше трафика, меньше видеопамяти и выше частоту кадров.

Возможность менять плотность в рантайме особенно полезна для продуктов с разными классами устройств. Одну обученную модель можно разворачивать на сервере и на телефоне, меняя только параметр разреженности. Для команд, которые сейчас держат несколько версий реконструкционной сети, это сокращает обслуживание.

Есть и открытые вопросы, которые стоит проверить при внедрении. Это поведение на сценах с большим числом тонких структур, на отражающих и прозрачных поверхностях и на уличных видео, где текстура меняется резче, чем в интерьерах. Но направление понятно: следующий шаг в feedforward-реконструкции лежит не в добавлении гауссианов, а в более умном их размещении.