Easy-3Dfy собирает 3D-сцену из одного фото и обходит SAM-3Dfy

Построить 3D-сцену по одной фотографии пытаются давно, и нынешний подход к этой задаче выглядит как попытка заставить одну модель делать всё сразу. Команда исследователей (Ziang Zhang, Wenyou Yi, Zehan Wang, Jiachen Xu, Xintong Han, Chunchao Guo, Zhou Zhao) предлагает иначе. В работе Easy-3Dfy, опубликованной 23 октября 2026 года (arXiv 2610.32250), генерация объектов и оценка раскладки сцены разведены в два независимых этапа. По геометрическим метрикам такой пайплайн стабильно опережает SAM-3Dfy на бенчмарках Scene-Maker и 3D-FUTURE200.

Где ломается сквозная реконструкция

SAM-3Dfy и похожие методы восстанавливают по одному кадру и сами 3D-ассеты, и их расположение в сцене. Одна система делает всё сразу, поэтому страдают детали. Авторы Easy-3Dfy говорят о двух слабых местах: тонкая геометрия сцены и качество самих объектов.

При этом рядом развиваются два класса моделей, у каждого из которых своя сильная сторона:

• специализированные генераторы 3D-объектов дают детальную геометрию отдельных предметов;
• 3D foundation-модели хорошо и обобщённо понимают пространство, то есть что где стоит и как расположено относительно камеры.

По сути, в сквозной схеме обе способности сжаты в одну модель и мешают друг другу. Easy-3Dfy позволяет каждой из них работать в полную силу.

Как склеивают меши и pointmap

Пайплайн композиционный. Сначала генератор строит для каждого объекта меш в его собственной локальной системе координат. Параллельно foundation-модель оценивает пространство и выдаёт частичные pointmap, то есть облака точек, которые видны с единственной точки съёмки. Они неполные: задняя сторона предметов и закрытые участки в них отсутствуют.

Связывает два мира выравниватель на основе RPF. Он ищет геометрические соответствия между локальным мешем объекта и частичной pointmap сцены и по ним восстанавливает положение объекта. Когда раскладка найдена, объекты собираются в единую сцену.

Важная деталь: полной сценовой supervision для этого не требуется. Не нужны датасеты, где для каждой сцены уже есть цельная аннотированная 3D-геометрия, а такие данные дороги и редки. Такой выравниватель работает как явный геометрический мост между двумя моделями, которым не нужно переобучаться вместе.

Что зафиксировано в сравнении

Ключевые элементы работы:

• Easy-3Dfy: композиционный пайплайн, разделяющий генерацию объектов и оценку раскладки сцены;
• RPF-выравниватель: сопоставляет локальные меши объектов с частичными pointmap сцены;
• SAM-3Dfy: базовый сквозной метод, с которым сравнивали;
• Scene-Maker и 3D-FUTURE200: бенчмарки, на которых Easy-3Dfy выигрывает по нескольким геометрическим метрикам;
• вход: одно изображение, выход: сцена из отдельных объектов с восстановленной раскладкой.

Числовых значений метрик в материалах, доступных редакции, нет, поэтому масштаб преимущества оценить нельзя. Сам факт постоянного выигрыша сразу по нескольким метрикам на двух разных наборах всё же говорит, что разделение задач работает не только на одном удобном тесте.

Кому это пригодится первым

Самое практичное свойство подхода в том, что он модульный. Авторы подчёркивают: пайплайн может независимо выигрывать от прогресса и в генерации 3D-объектов, и в foundation-моделях. Вышел новый сильный генератор мешей, и его можно поставить на место старого без переобучения всей системы. Улучшилось понимание пространства, и то же самое делается со второй половиной.

Для команд, которые делают 3D-контент для игр, AR/VR и симуляций, это экономия: из фото интерьера можно получить сцену, где каждый объект остаётся отдельным мешем и его можно двигать, заменять и редактировать. В робототехнике такие сцены нужны для симуляторов и обучения в воображаемых средах. Пока это исследовательская работа с двумя рейтинговыми голосами на Hugging Face Daily Papers и страницей проекта easy3dfy.github.io, а не продукт. Но направление понятное: вместо одной гигантской модели собирают конвейер из специалистов и дают им общий геометрический язык.