HiP3R собирает 3D-сцены из тысяч кадров видео без дообучения моделей

Исследователи из Nanyang Technological University Singapore опубликовали HiP3R — метод глобальной сборки 3D-реконструкции из длинных видео. Он принимает на вход последовательности из тысяч кадров и возвращает согласованную траекторию камеры и геометрию сцены. Ни дообучения, ни замены базовой модели не требуется: HiP3R работает поверх уже существующих нейросетей-реконструкторов. Авторы: Zunnan Xu, Shangchen Zhou, Yihang Luo и Chen Change Loy. Статья вышла 22 октября 2026 года, код выложен в открытый доступ.

Почему длинное видео ломает feed-forward реконструкцию

Модели прямого прохода (feed-forward) в последние годы научились оценивать движение камеры и 3D-геометрию по короткому окну кадров быстро и точно. Проблема начинается, когда кадров тысячи. Память и вычисления растут так, что обработать всю последовательность за один проход невозможно. Остаётся нарезка на перекрывающиеся куски.

У нарезки есть цена. Каждый кусок реконструируется независимо, поэтому у них разные системы координат и разный масштаб. Кадры из зоны перекрытия получают сразу две оценки позы, и они не совпадают. Чтобы собрать из этого цельную сцену, нужно протащить ограничения вдоль всей последовательности: от соседних перекрытий до возвратов камеры в уже виденные места (loop closure). Классическое решение для такой задачи — оптимизация графа поз (pose graph optimization).

Дилемма двух уровней графа

Уровень, на котором строится граф, определяет, что именно получится. У каждого варианта свои плюсы и минусы.

• Граф на уровне кусков. Эффективно устраняет дрейф масштаба и замыкает большие петли. Но куски двигаются как жёсткие тела, поэтому внутренние ошибки и противоречащие друг другу предсказания по кадрам он исправить не может.
• Оптимизация на уровне кадров. Даёт локальную гибкость. Но глобальное масштабирование обходится дорого по вычислениям, а метрический масштаб при этом может сломаться.

HiP3R разрешает этот компромисс иерархией, а не выбором одной из сторон.

Два шага: сначала каркас, потом траектория

На первом шаге HiP3R строит устойчивый граф на уровне кусков с преобразованиями Sim(3), то есть с учётом поворота, сдвига и масштаба. Этот граф задаёт глобальную раскладку сцены и общий масштаб.

На втором шаге раскладка замораживается. Для каждого кадра оценивается одна общая камера в SE(3), то есть поза без масштаба. Перекрывающиеся предсказания соседних окон превращаются в единую траекторию вместо набора дубликатов. Масштаб уже закреплён наверху, поэтому покадровая подгонка его не ломает. Грубый каркас остаётся жёстким, а детали уточняются там, где они нужны.

Авторы проверили метод на нескольких бенчмарках. По их данным, он улучшает и траектории камеры, и качество 3D-реконструкции. Он применим к двум типам бэкендов — chunk-based и streaming.

Технические параметры

• Задача: глобально согласованная 3D-реконструкция по видео из тысяч кадров.
• Уровень 1: робастный граф кусков на Sim(3) задаёт раскладку и метрический масштаб.
• Уровень 2: одна общая камера SE(3) на кадр при зафиксированной раскладке.
• Совместимость: chunk-based и streaming бэкенды.
• Требования к обучению: дообучение и fine-tuning не нужны.
• Организация: Nanyang Technological University Singapore.
• Авторы: Zunnan Xu, Shangchen Zhou, Yihang Luo, Chen Change Loy.
• Публикация: arXiv 2610.31635, проект на kkakkkka.github.io/HiP3R.
• Репозиторий: GitHub, 361 звезда на момент выхода обзора.

Кому это пригодится на практике

HiP3R работает как слой постобработки, поэтому его можно подключить к уже работающему конвейеру реконструкции. Это интересно командам, которые снимают длинные ролики с дронов, носимых камер или роботов и собирают из них карты. То же касается тех, кто делает 3D-сцены для симуляций, игр и обучения embodied-агентов. Там нужна одна согласованная траектория на километры видео, а не набор несшитых фрагментов.

Разработчикам с готовым streaming- или chunk-бэкендом стоит проверить репозиторий на собственных данных. Приоритетные проверки: дрейф масштаба на длинных маршрутах, поведение при возвратах в уже виденные места и стабильность траектории в зонах перекрытия кусков. Отсутствие дообучения снижает порог входа: достаточно подключить метод к имеющимся предсказаниям. Репозиторий с 361 звездой показывает, что сообщество уже обратило на него внимание.