InfiniDream учит VLM писать процедурные 3D-миры: 100 объектов и 20 сцен

Команда InfiniDream предложила фреймворк, в котором vision-language модель не рисует готовый меш, а управляет процедурной генерацией: от отдельного объекта до крупной сцены с расстановкой, «населением» и анимацией. Система проверена на 100 задачах по объектам и 20 по сценам. Авторы заявляют улучшения по четырём перцептивным метрикам. Это подтверждают анализ разнообразия, абляции и оценки людей. Работа попала в Hugging Face Daily Papers.

Где ломаются существующие подходы

Процедурная генерация давно нужна и играм, и тем, кто делает синтетические данные для обучения моделей. Она управляема, редактируема и даёт разнообразие: поменяли seed, получили новое дерево или камень. Статичный меш так не умеет. Но у подхода есть две известные проблемы.

Первая: когда VLM пишет код для 3D-ассетов с нуля, результат обычно простой. Вторая: по-настоящему фотореалистичные процедурные системы требуют долгой ручной разработки. Методы, где VLM управляет процедурным пайплайном, упираются в заранее заданные «фабрики» и API. Модель выбирает из готового набора и не создаёт принципиально новых типов ассетов.

Два ключевых блока InfiniDream

Первый блок называется Symbolically Constrained Asset Generation. VLM опирается на уже существующие процедурные алгоритмы и на их основе создаёт новые фотореалистичные ассеты. Символьные ограничения удерживают результат в рамках рабочих алгоритмов. За счёт этого сохраняются редактируемость и разнообразие по seed, то есть то, ради чего процедурку и используют.

Второй блок — сквозной пайплайн от текста к миру. Семантическое планирование сцены сочетается с Deterministic Frustum-Guided Grid Placement. Название описывает метод: объекты размещаются по сетке с учётом пирамиды видимости камеры, и расстановка получается точной и воспроизводимой. Дальше система добавляет процедурное заполнение мира и анимацию.

Коротко по заявленным параметрам:

• тип системы: VLM-driven фреймворк для открытой процедурной генерации 3D-миров;
• генерация ассетов: Symbolically Constrained Asset Generation;
• размещение объектов: Deterministic Frustum-Guided Grid Placement;
• тестовая выборка: 100 задач по объектам и 20 по сценам;
• оценка: четыре перцептивные метрики, анализ разнообразия, абляции, human preference;
• страница проекта: yichuanh.github.io/infinidream-page.

Что подтверждают тесты и чего не видно

Набор оценок выглядит добротно: автоматические метрики, исследование вклада компонентов и сравнение глазами людей. Для генеративной 3D-графики последнее критично, потому что перцептивные метрики не всегда совпадают с впечатлением зрителя.

При этом в аннотации нет конкретных значений метрик, названий сравниваемых базовых методов и данных о том, какая VLM стоит под капотом. Не сказано и о времени генерации сцены и стоимости запуска. Выборка в 20 сцен невелика, так что масштаб заявленных улучшений придётся смотреть в полной статье и на странице проекта.

Кому это может пригодиться

Студиям и инди-разработчикам такой подход интересен прежде всего редактируемостью. Если сцена получена из параметров, а не из запечённой геометрии, художник может поменять seed, подкрутить параметры и не пересоздавать мир целиком. Для команд, которые делают синтетические данные для компьютерного зрения или робототехники, ценна сочетаемость точной расстановки и разнообразия. Одну текстовую постановку можно развернуть во множество вариантов сцены.

Практический шаг сейчас простой: открыть страницу проекта и проверить, опубликованы ли код и примеры. Затем прогнать несколько собственных промптов с нестандартными объектами. Именно там видно, справляется ли метод с тем, что выходит за рамки готовых фабрик и API.