MIRAGE привязывает 3D-реконструкцию по видео к LiDAR и обходит COLMAP на трёх датасетах

Исследовательская группа опубликовала на arXiv работу MIRAGE: метод, который соединяет feed-forward 3D-модели, работающие по потоку изображений, с метрическим движением от LiDAR и инерциального датчика (IMU). На выходе получается траектория в реальных метрах и высокодетальная реконструкция сцены в виде гауссовых сплатов. Проверку провели на трёх наборах данных: Oxford Spires, M2DGR и INS. По утверждению авторов, на них MIRAGE точнее оценивает метрическую траекторию, чем COLMAP, вычислительно дорогой эталон для vision-only бенчмарков. Конкретных значений ошибки в аннотации нет, их придётся искать в самой статье.

Две половины одной задачи

У каждого из двух подходов своя слабость. Feed-forward 3D-модели выдают качественную геометрию из последовательности кадров за один проход, без долгой оптимизации. Но надёжного метрического масштаба у них нет, а на длинных маршрутах траектория плывёт: ошибка накапливается шаг за шагом.

LiDAR-инерциальная оценка устроена противоположно. Она точно измеряет движение в метрах, но не даёт согласованности в пространстве изображения. Для фотореалистичной реконструкции, в том числе на гауссовых сплатах, этого недостаточно: геометрия получается верной, но визуально «не склеенной» с кадрами.

MIRAGE объединяет сильные стороны обеих половин.

Как работает привязка

Визуальную геометрию от feed-forward модели система закрепляет на метрическом движении LiDAR-IMU. Онлайн-коррекции позы не применяются вслепую. Их вес зависит от двух сигналов: сколько соответствий между кадрами реально поддерживают поправку и насколько согласуются визуальная и LiDAR-инерциальная модальности. Если картинка даёт слабую опору, например на однообразной стене или при размытии, система опирается на метрическое движение. Если визуальные данные богаты и согласованы, она использует их для уточнения позы.

От такого механизма ждут, что плохая визуальная оценка не испортит траекторию, а дрейф не будет копиться. Одновременно сохраняется качество реконструкции.

Новый бенчмарк для помещений

Вторая часть работы связана с нехваткой данных. Длинных монокулярных последовательностей для крупных помещений с надёжной эталонной траекторией почти нет. Авторы собрали мультимодальную платформу сбора данных. Затем они применили MIRAGE, чтобы получить точные 6-DoF референсные траектории для нового vision-only бенчмарка. Результат такой: траектории строятся с помощью LiDAR и IMU, а оцениваются на нём методы, которые используют только камеру.

На этом датасете авторы сравнили современные методы монокулярной крупномасштабной реконструкции и дали систематическую оценку того, как они ведут себя на длинных сценах в помещениях.

Ключевые факты из аннотации:

• Входные данные: поток изображений плюс LiDAR и IMU
• Выход: метрическая 6-DoF траектория и реконструкция на гауссовых сплатах
• Датасеты: Oxford Spires, M2DGR, INS
• Базовая точка сравнения: COLMAP
• Новый вклад: мультимодальная платформа и vision-only бенчмарк для длинных indoor-сцен

Где это пригодится

Для робототехники и картографирования метод полезен как способ получать эталонную разметку без ручной работы. Мобильному роботу с LiDAR, IMU и камерой MIRAGE даёт метрическую позу и плотную сцену, пригодную для симуляции, цифровых двойников и инспекции помещений. Командам, которые разрабатывают vision-only SLAM и реконструкцию, новый бенчмарк даст проверку на длинных индоорных маршрутах, где обычно проявляется дрейф.

Ограничения тоже понятны. Для самого MIRAGE нужен LiDAR, поэтому метод не заменяет чисто камерные решения на дешёвом железе. Он помогает их оценивать и обучать. Перед внедрением стоит дождаться кода и полных таблиц с ошибками по каждому датасету, поскольку в аннотации сравнение с COLMAP дано только качественно.