3D-генерация сцен: DiT работает в 3D-латенте и кодирует сцену в 1K токенов

Команда авторов статьи «Any 3D Scene is Worth 1K Tokens» предлагает отказаться от привычной схемы генерации 3D-сцен через 2D: вместо диффузии по многоракурсным изображениям или видео модель работает в неявном высокоразмерном 3D-латентном пространстве. Главная цифра зашита в названии: сцену удаётся описать примерно тысячей токенов. Латент строится на признаках трёх сильных 2D-фундаментальных моделей: DINOv2, SigLIP2 и DA3. Поверх него обучают диффузионные трансформеры (DiT). Работа появилась в Hugging Face Daily Papers, в аннотации нет таблиц с численными метриками, поэтому ниже речь о заявленных качествах подхода, а не о конкретных процентах.

Чем плоха диффузия в 2D

Сегодня сценовая 3D-генерация в основном держится на двух классах моделей: многоракурсной диффузии и видеодиффузии. Они генерируют набор кадров, из которых потом так или иначе собирается сцена. Авторы называют две проблемы такого подхода.

Первая: избыточность. Один и тот же участок комнаты или улицы появляется на десятках кадров, и модель тратит ёмкость на повторы. Чем больше ракурсов, тем больше повторов.

Вторая: консистентность. Если латентное пространство «выросло» из 2D, пространственная согласованность в нём не гарантирована. Стена на одном кадре может не совпасть с тем же участком на соседнем. Любой, кто смотрел видеогенерацию с «плывущей» геометрией, видел это своими глазами.

Что предлагают вместо этого

Идея в том, чтобы взять не пиксели, а признаки. DINOv2 даёт геометрически и семантически богатые визуальные представления, SigLIP2 добавляет связь с языком, DA3 (по всей видимости, Depth Anything 3) приносит информацию о глубине. Из этих источников собирается неявное 3D-латентное представление сцены. Диффузионный трансформер обучается генерировать сразу его, минуя промежуточный этап «нарисуй много картинок».

Ключевые элементы подхода, как они описаны в аннотации:

• пространство генерации: неявный высокоразмерный 3D-латент, а не 2D-латент отдельных видов;
• источники представления: DINOv2, SigLIP2, DA3;
• генеративная модель: диффузионные трансформеры, обученные напрямую в 3D-латенте;
• компактность: порядка 1K токенов на сцену (по заголовку работы);
• заявленные преимущества: эффективность и пространственная согласованность относительно 2D-подходов;
• масштабирование: выигрыш растёт при увеличении ёмкости представления и размера модели.

Отдельно авторы указывают, что провели анализ влияния самого 3D-латента на качество генерации. Это важно: в таких работах часто непонятно, что даёт выигрыш, архитектура или выбор представления. Здесь заявлена попытка их развести.

Почему это интересно индустрии

Тысяча токенов на сцену означает, что 3D-мир можно обрабатывать теми же инструментами, что и текст: трансформеры, привычные законы масштабирования, знакомая инфраструктура обучения. Если тезис о масштабируемости подтвердится на больших моделях, это упростит путь к генерации целых окружений для игр, симуляций и обучения роботов.

Пока остаются вопросы, на которые аннотация не отвечает. Какое качество текстур и мелких деталей даёт столь компактный латент? Как модель ведёт себя на больших открытых сценах? Каковы реальные затраты на обучение и инференс в сравнении с видеодиффузией? Без цифр из полного текста статьи судить рано.

Что смотреть практикам

Если вы занимаетесь генерацией окружений, симуляторами для робототехники или 3D-контентом, имеет смысл открыть полную версию статьи и проверить три вещи: на каких датасетах мерили консистентность, какие базовые 2D-модели выбраны для сравнения и опубликованы ли код и веса. Отдельно полезен раздел с анализом 3D-латентов: он покажет, какой из трёх источников признаков (DINOv2, SigLIP2 или DA3) вносит основной вклад. Это пригодится и тем, кто строит собственные представления сцен на готовых foundation-моделях.