LVSPM обошла VGGT в оценке поз камеры на 16–256 кадрах и не ломается на больших сценах

Исследователи представили LVSPM — модель, которая принимает набор фотографий без калибровки и за один проход решает две задачи: оценивает позы камер и синтезирует новые ракурсы сцены. Диапазон входа — от 16 до 256 кадров. На трёх бенчмарках (RealEstate10k, Co3Dv2 и DL3DV) она, по заявлению авторов, превосходит VGGT по точности оценки поз, а в синтезе видов обходит по PSNR даже модели, которым позы камер выдают заранее. Код опубликован.

Две задачи вместо конвейера

Классический путь к новым ракурсам выглядит так: сначала structure-from-motion вычисляет позы камер, затем NeRF или гауссовы сплаты по этим позам восстанавливают сцену. Ошибка на первом шаге переходит на второй. LVSPM объединяет этапы в одной feed-forward модели. Она получает изображения как есть и выдаёт позы и новые виды, без отдельной оптимизации под каждую сцену.

Условия обучения скромные. Нужны только RGB-кадры и разметка поз. Плотная 3D-геометрия (карты глубины, облака точек), которую часто требуют конкурирующие подходы, не используется. Достать такие данные в масштабе дорого, а видео с известными траекториями камеры встречаются заметно чаще.

TTT-слои и длинные последовательности

Главная инженерная идея — test-time training слои. Внимание, на котором построены модели вроде VGGT, растёт квадратично с числом кадров. TTT-слои хранят контекст в быстро обновляемых весах, поэтому, как утверждают авторы, модель масштабируется до сотен входных видов без резкого роста затрат. Подробных замеров памяти и скорости в аннотации нет, их стоит искать в самой статье.

Проверка шла на 16, 32, 64, 128 и 256 видах. По оценке поз LVSPM опережает VGGT на всём диапазоне, причём отрыв больше всего на строгих порогах. Это важная деталь. Грубо попасть в позу умеют многие, а для реконструкции нужна точность в градусах и сантиметрах.

Протокол, при котором базовые методы разваливаются

Отдельный акцент авторы делают на протоколе оценки синтеза видов. Его называют практическим: чем больше кадров, тем больше площадь сцены. Привычные бенчмарки с фиксированной небольшой областью скрывают проблему, которая видна при реальной съёмке дома или улицы. По этому протоколу LVSPM показывает лучшее качество среди методов без поз и сохраняет его по мере роста сцены, тогда как базовые методы, по словам авторов, «схлопываются».

Отдельно отмечается результат по PSNR: модель обходит методы, зависящие от поз, то есть те, у кого на входе есть дополнительная информация. Это заявление придётся перепроверять независимыми запусками, но направление понятно.

Что известно из аннотации

• Вход: некалиброванные коллекции изображений, 16–256 видов. • Выход: позы камер и новые виды сцены, оба результата в одной модели. • Обучение: только RGB и supervision по позам, без плотного 3D ground truth. • Архитектурный приём: слои test-time training для длинных контекстов. • Бенчмарки: RealEstate10k, Co3Dv2, DL3DV. • Сравнение: лучше VGGT по позам, особенно на строгих порогах; SOTA среди pose-free методов по качеству синтеза. • Код: открыт на странице проекта.

Кому это пригодится

Для команд, работающих с фото- и видеозахватом недвижимости, картографией, дронами или цифровыми двойниками, ценность в том, что отпадает отдельный этап калибровки и SfM на сотнях кадров. Практическая проверка проста: взять открытый код, прогнать собственные съёмки с дрожанием камеры, плохим светом и повторяющимися текстурами и сравнить позы с результатом COLMAP или VGGT. Именно на таких данных обычно видно, держится ли обобщение за пределами академических датасетов.

Исследователям интересен переход к TTT как альтернативе вниманию в 3D-задачах. Если выигрыш на длинных последовательностях подтвердится другими группами, подход быстро появится в связанных моделях реконструкции. Пока это препринт без рецензирования, а ключевые цифры PSNR и ошибок поз в аннотации не приводятся. Их нужно смотреть в таблицах статьи и в воспроизведении.