Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизОткрытые веса · В работуTG: @cgevent (Метаверсище и ИИще)→ оригинал

NVIDIA выложила Déjà View: 3D-реконструкция по фото на 117 млн параметров

Если вы когда-нибудь собирали 3D-сцену из набора фото, то знаете: нужны и позы камер, и глубина, и обычно тяжёлый пайплайн. NVIDIA, ETH Zurich и Университет Торонто выложили Déjà View — модель на 117 млн параметров, которая делает всё это за один проход. Секрет в том, что вместо стопки разных слоёв один и тот же блок трансформера прогоняется по кругу. Число кругов можно менять прямо на инференсе.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
NVIDIA выложила Déjà View: 3D-реконструкция по фото на 117 млн параметров
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
Ключевой факт #1117 млн параметров — в 8–10 раз меньше VGGT и Pi3
Ключевой факт #2Число циклов K регулирует скорость и точность без переобучения
Ключевой факт #3Код и веса nvidia/dvlt открыты, запуск через Hugging Face Accelerate

Представьте, что вы сняли комнату на телефон или набрали сотню фото здания без какой-либо разметки. Чтобы получить из этого 3D-модель, нужно понять, где стояла камера в каждом кадре, какие у неё параметры и как далеко от неё каждая точка сцены. Это классическая задача Structure-from-Motion, и последние пару лет её всё чаще решают большими трансформерами вроде VGGT, Depth Anything 3, MapAnything и Pi3. Они работают хорошо, но разрослись до миллиардов параметров. NVIDIA Research вместе с ETH Zurich и Университетом Торонто предложила другой путь: Déjà View (DVLT) делает то же самое на 117 млн параметров.

Один блок вместо стопки слоёв

Авторы заметили, что глубокие 3D-трансформеры на разных слоях по сути повторяют одну и ту же операцию: шаг за шагом уточняют геометрию и позы камер. Зачем тогда хранить сотни миллионов уникальных весов для почти одинаковой работы?

В Déjà View глубокий стек заменили одним блоком трансформера с разделяемыми весами, который прогоняется по кругу. Внутри блока совмещены покадровое внимание (что происходит в одном снимке) и глобальное (как кадры связаны между собой). Аналогия простая: вместо десяти разных редакторов, каждый из которых правит текст по разу, один редактор читает его десять раз подряд.

На выходе модель одновременно предсказывает карту лучей, карту глубин и позы камер, внешние и внутренние. Получается полноценная реконструкция по неупорядоченным фото или видео.

Ручка «точность против скорости»

Главная практическая находка здесь не размер, а побочный эффект цикла. Число шагов K становится регулятором вычислений на этапе инференса. Модель обучается один раз, а дальше вы сами решаете, сколько кругов ей дать.

Мало шагов подойдут для быстрого потокового трекинга в реальном времени. Глубокий прогон (K около 12–16) нужен, когда важны аккуратная геометрия и точная калибровка камер. Отдельные чекпоинты под каждый режим и дообучение не нужны: достаточно одних весов.

По заявлению авторов, на пяти популярных бенчмарках реконструкции, включая ScanNet++ с интерьерными и уличными сценами, модель на равных конкурирует с 1B+ трансформерами или обгоняет их. Вычислений при этом требуется сопоставимо или заметно меньше. Конкретные цифры по метрикам в посте не приведены, поэтому их стоит смотреть в статье на arXiv (2605.30215).

Что с этим делать на практике

NVIDIA открыла код, пайплайн предобработки, скрипты визуализации на Rerun и веса nvidia/dvlt на Hugging Face. Запускается модель через Hugging Face Accelerate в BF16. Для команды это значит, что поэкспериментировать можно за вечер, без собственного обучения.

Где это может пригодиться:

  • прототипы AR и пространственных приложений, где нужны позы камер и глубина из обычного видео;
  • фотограмметрия и сканирование сцен, когда нет ни дорогих сенсоров, ни времени на ручную разметку;
  • стартовые данные для других 3D-пайплайнов, которым нужны позы камер на входе. Это наше предположение, а не заявление авторов, и его надо проверять;
  • задачи на ограниченном железе: компактная модель легче вписывается в память, чем миллиардные аналоги.

Ограничения и осторожность

Во-первых, малый размер не означает мгновенную работу. Разделяемые веса экономят память и размер чекпоинта, но каждый дополнительный цикл стоит вычислений. Сколько это в секундах на вашей видеокарте для вашего числа кадров, нужно мерить самим.

Во-вторых, сравнения с VGGT, Depth Anything 3 и Pi3 приведены самими авторами и на выбранных бенчмарках. На ваших данных, например на тёмных, блестящих или почти без текстур сценах, результат может отличаться.

В-третьих, пост называет лицензию «свободной», но перед коммерческим использованием точный тип лицензии кода и весов лучше проверить в репозитории и на странице модели.

Итог: Déjà View показывает, что для 3D-реконструкции гонка за размером не обязательна. Рекуррентный блок с настраиваемым числом шагов даёт разработчику контроль над балансом скорости и точности, а открытые веса позволяют проверить это без больших затрат. Если вы работаете с 3D из фото или видео, модель стоит добавить в список для быстрого бенчмарка.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: один блок вместо стопки слоёв?

Авторы заметили, что глубокие 3D-трансформеры на разных слоях по сути повторяют одну и ту же операцию: шаг за шагом уточняют геометрию и позы камер. Зачем тогда хранить сотни миллионов уникальных весов для почти одинаковой работы? В Déjà View глубокий стек заменили одним блоком трансформера с разделяемыми весами, который прогоняется по кругу. Внутри блока совмещены покадровое внимание (что происходит в одном снимке) и глобальное (как кадры связаны между собой).

Что известно по теме: ручка «точность против скорости»?

Главная практическая находка здесь не размер, а побочный эффект цикла. Число шагов K становится регулятором вычислений на этапе инференса. Модель обучается один раз, а дальше вы сами решаете, сколько кругов ей дать. Мало шагов подойдут для быстрого потокового трекинга в реальном времени. Глубокий прогон (K около 12–16) нужен, когда важны аккуратная геометрия и точная калибровка камер. Отдельные чекпоинты под каждый режим и дообучение не нужны: достаточно одних весов.

Что известно по теме: что с этим делать на практике?

NVIDIA открыла код, пайплайн предобработки, скрипты визуализации на Rerun и веса nvidia/dvlt на Hugging Face. Запускается модель через Hugging Face Accelerate в BF16. Для команды это значит, что поэкспериментировать можно за вечер, без собственного обучения.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…