Scene-Designer обучили на 35 тыс. примеров дизайна и 15 тыс. критики для 3D-сцен

Исследователи представили Scene-Designer, агентную систему, которая собирает трёхмерные интерьеры по текстовому запросу и сама оценивает результат. Обучение построено на двух новых датасетах: Scene-OTA-35K с 35 тысячами примеров проектирования и исправления ошибок и Scene-OTC-15K с 15 тысячами примеров критики. Сверху авторы добавили алгоритм Scene-GRPO, где обучением управляет обученный критик. Работа опубликована в Hugging Face Daily Papers.

Проблема: сцену мало сгенерировать, её нужно «увидеть»

Генерация 3D-комнат по тексту упирается не в способность поставить диван в координаты, а в здравый смысл. Мебель не должна пересекаться со стенами. Обеденный стол нужен там, где можно обойти стулья. Кровать не стоит в проходе. По словам авторов, существующие подходы устроены одним из двух способов. Либо берут универсальные модели без профильного опыта в дизайне, либо учатся на статичных готовых сценах, где нет ни процесса поиска решения, ни исправления промахов. В итоге модель видит результат, но не видит, как к нему приходят.

Scene-Designer пытается закрыть этот пробел через два взаимодополняющих типа опыта: как проектировать и как оценивать проект.

Как устроена система

Агент работает по схеме «наблюдение, мысль, действие». Он смотрит на текущее состояние сцены, рассуждает и вносит правку. Отдельная часть обучения учит критиковать: тот же цикл «наблюдение, мысль», но на выходе вердикт о качестве.

• Scene-OTA-35K — 35 тыс. примеров формата Observation–Thought–Action. Они учат проектировать сцену и эффективно исправлять ошибки.
• Scene-OTC-15K — 15 тыс. примеров формата Observation–Thought–Critic. Они учат оценивать сцену по трём критериям: физическая валидность, функциональная корректность, связность планировки.
• Scene-Critic — обученный критик, который оценивает сцены и сравнивается с универсальными моделями.
• Scene-GRPO — вариант GRPO, управляемый критиком. Он улучшает проектные решения и сокращает лишние циклы проб и ошибок.

Последний пункт важен практически. Агентные пайплайны для 3D часто тратят много шагов на то, чтобы расставить объекты, обнаружить коллизию, переставить и снова проверить. Если модель реже ошибается с первого раза, падает и число вызовов, и время генерации.

Что показали эксперименты

В аннотации не приведены конкретные значения метрик, поэтому сравнивать цифры с другими системами пока рано. Качественные выводы авторы формулируют так. Scene-Designer превосходит базовые подходы по всем трём осям: физической валидности, функциональной корректности и связности планировки. Scene-Critic заметно опережает универсальные модели в оценке сцен. Подсказки критика во время инференса дополнительно улучшают генерацию, то есть он полезен не только как инструмент обучения.

Отдельное наблюдение: способности к дизайну и к критике, судя по анализу, растут вместе. Чем лучше модель проектирует, тем точнее оценивает, и наоборот. Для обучения агентов это знакомая идея: оценщик и исполнитель делят общее понимание предметной области.

Кому это пригодится

Ближайшие применения лежат в генерации синтетических сред для обучения роботов и embodied-агентов, где нужны тысячи физически правдоподобных комнат. Подойдёт и для игровых прототипов, виртуальной подготовки интерьеров и визуализации планировок. Для команд, которые строят собственные агентные пайплайны, из статьи можно взять рецепт: не ограничиваться траекториями действий, а отдельно обучать критика и подключать его на инференсе как дешёвый фильтр.

Ограничения тоже очевидны. Пока доступна только аннотация, и без полных таблиц, описания сцен и данных о стоимости генерации оценить реальный выигрыш сложно. Стоит дождаться кода и датасетов, чтобы проверить, насколько критик переносится на сцены вне обучающего распределения.