OOOSplat превращает видео со смартфона в 3D-сцену локально, в один клик

Gaussian Splatting давно вышел из разряда научных демок: сцены выглядят фотореалистично и крутятся в браузере в реальном времени. Но путь от телефонного видео до готового сплата до сих пор напоминает квест. Нужно вытащить кадры через FFmpeg, посчитать позиции камер в COLMAP, запустить обучение, потом найти, чем это всё смотреть и обрезать. Команда OOOLab решила эту цепочку упаковать в одно приложение и выложила его в открытый доступ под названием OOOSplat.

Что внутри

OOOSplat — кроссплатформенное десктопное приложение для Windows, macOS на Apple Silicon и Linux. Оно написано на Rust и Tauri, интерфейс сделан на React. Главная идея — автономность: в поставку уже включены предварительно настроенные бинарники FFmpeg, FFprobe, COLMAP и движок обучения Brush. Ничего не нужно ставить отдельно и ничего не уходит на чужие серверы.

Пайплайн запускается одной кнопкой. Приложение берёт видео (MP4, MOV), вытаскивает ключевые кадры, считает положения камер через COLMAP и оптимизирует гауссианы в Brush. На выходе получается файл final.ply. Если в машине есть видеокарта NVIDIA, COLMAP использует её автоматически, если нет — работает на процессоре, просто медленнее.

Как это выглядит на практике

Представьте, что вы делаете сервис для агентства недвижимости или каталог товаров с 3D-превью. Раньше сотрудник снимал комнату на телефон, а дальше всё упиралось в инженера, который знает, как гонять COLMAP. Теперь съёмку можно скинуть в приложение и получить сцену без командной строки.

После обучения результат открывается во встроенном 3D-вьюпорте на WebGPU и WebGL. Там можно сдвинуть и повернуть сцену, а ограничивающим боксом обрезать «плавающий мусор» по краям — типичную болячку сплатов. Экспорт идёт в PLY, SOG, SPZ и SPLAT, а ещё в автономную HTML-страницу с лёгким веб-плеером. Это самый приземлённый сценарий: одним файлом выложить сцену на хостинг и отправить клиенту ссылку.

Есть и приятные мелочи. Поддерживаются панорамы 360×180 в формате ERP. Данные GPS из EXIF используются для калибровки метрического масштаба, так что сцена получает реальные размеры. Работают прозрачные альфа-маски, а режим re-shoot позволяет дослать новые кадры и обновить сцену без обучения с нуля.

Ограничения и что с этим делать

Сразу оговорки. Это свежий открытый проект, и отзывов о стабильности и качестве на сложных сценах пока мало. Само качество сплата зависит от съёмки: резкие кадры, хорошее перекрытие, отсутствие движущихся объектов. Никакая обёртка этого не отменит. Процессорный фолбэк пригоден скорее для проверки идеи, чем для регулярной работы, а на Apple Silicon и Linux скорость обучения стоит измерять на своих данных. Также стоит заранее проверить лицензии вшитых компонентов, если планируете встраивать результат в коммерческий продукт.

Практический вывод для разных ролей. Разработчикам: репозиторий полезен как референс того, как собрать COLMAP, Brush и FFmpeg в один Tauri-бандл, и как готовая база для форка под свои задачи. Продактам: проверка гипотез с 3D-контентом стала дешевле, ведь для пилота не нужны ни облачный бюджет, ни выделенный специалист по фотограмметрии. Основателям, которые работают с приватными съёмками (объекты, производство, интерьеры), важен сам факт локальной обработки: данные не покидают машину.

Мой совет простой: возьмите два-три реальных ролика из вашей предметной области, прогоните через OOOSplat и посмотрите на результат в браузерном плеере. Если качество устраивает, у вас уже есть рабочий прототип 3D-фичи за вечер. Если нет, вы быстро поймёте, где упирается пайплайн: в съёмке, в железе или в самом подходе. Репозиторий лежит на GitHub в организации ooolabdev.