InfiniDream: синтез 100 объектов и 20 сцен в процедурной генерации 3D-миров

InfiniDream — это VLM-driven (управляемый языковой моделью) фреймворк для открытой процедурной генерации фотореалистичных 3D-миров. Разработанный исследователями из Alaya Lab (Yi-Chuan Huang, Hao-Jen Chien, Zheng-Hui Huang, Yu-Lun Liu, Kaipeng Zhang, Zhixiang Wang), метод решает критическую проблему в синтетических данных и разработке игр: существующие VLM-методы обычно создают простые 3D-активы, а сложные фотореалистичные процедурные системы требуют месяцев ручной разработки. Процедурная генерация исторически предпочиталась статичным 3D-моделям из-за большей контролируемости, редактируемости и диверсификации, но автоматизировать её с помощью AI оказалось трудно: существующие VLM-методы остаются привязаны к предварительно определённым API и фабрикам кода, что ограничивает возможность создания принципиально новых типов активов.

Два ключевых компонента методологии

Фреймворк InfiniDream опирается на два основных инновационных подхода:

Symbolically Constrained Asset Generation — метод символической генерации активов, который кардинально переосмысляет задачу. Вместо того чтобы создавать 3D-модели с нуля или работать в рамках жёстких предоставленных API, система использует существующие процедурные алгоритмы как структурные ограничения и направляет их работу через VLM. Это позволяет генерировать принципиально новые, никогда не встречавшиеся активы, одновременно сохраняя фотореалистичность результата, редактируемость каждого элемента и seed-based diversity — способность воспроизводить варианты и варьировать результаты на основе случайных затравок.

Text-to-World Pipeline — сквозной конвейер от текстового описания к готовому 3D-миру. Он интегрирует несколько ключевых этапов: semantic scene planning (семантическое планирование содержимого сцены на основе текстового ввода), Deterministic Frustum-Guided Grid Placement (детерминированное размещение объектов в 3D-пространстве с использованием видовой пирамиды камеры для точного управления), procedural population (автоматическое заполнение сцены множественными объектами) и animation (добавление динамики и анимации элементам сцены). Этот конвейер позволяет строить масштабные, детально проработанные 3D-миры с точным контролем над расположением каждого объекта.

Результаты тестирования и оценка

Авторы провели обширную оценку методики на двух основных типах задач:

• 100 объектов для синтеза — генерация различных индивидуальных 3D-активов • 20 полных сцен — создание интегрированных 3D-окружений с множеством объектов

По всем четырём используемым перцептивным метрикам метод InfiniDream показал улучшения. Дополнительно проведены анализ разнообразия сгенерированных активов (diversity analysis), ablation studies (исследования влияния каждого компонента фреймворка на итоговый результат) и human preference evaluation (оценки предпочтений людей-оценивателей), которые подтвердили эффективность и практичность подхода. Результаты демонстрируют, что языковые модели действительно способны направлять процедурную генерацию, создавая при этом фотореалистичные результаты, которые раньше были достижимы только за счёт месяцев ручной работы опытных разработчиков.

Ресурсы и авторство

Проект был опубликован 19 октября 2026 года. Полный исходный код доступен в GitHub-репозитории (https://github.com/yichuanH/InfiniDream), где сообщество может воспроизвести результаты и использовать методику для собственных задач. Авторы также подготовили подробную страницу проекта (https://yichuanh.github.io/infinidream-page/) с визуализацией результатов и дополнительной информацией о работе фреймворка. Исследование проводилось под эгидой Alaya Lab и представляет собой значительный шаг в автоматизации процедурной генерации 3D-контента через искусственный интеллект.