ACT3D учит VLM исследовать 3D-сцены и обходит Gemini 3.6 Flash: 53,2% на шести бенчмарках

Команда авторов статьи с Hugging Face Daily Papers предложила ACT3D — vision-language модель, которая отвечает на вопросы о 3D-сцене, самостоятельно перемещаясь по ней. Средняя точность на шести 3D-бенчмарках составила 53,2%. Это на 22,0% выше базовой модели Qwen и выше, чем у проприетарной Gemini 3.6 Flash. При этом ACT3D тратит на 50–70% меньше входных кадров, чем существующие открытые 3D-методы.

Один кадр вместо облака точек

Обычно 3D-понимание в VLM строят «в лоб»: модели скармливают набор ракурсов, видео или специальное 3D-представление. Авторы пошли другим путём и сохранили нативный визуальный вход VLM — одно изображение за раз, как у человека. Сама 3D-сцена превращается в среду, с которой модель взаимодействует через действия вроде «подвинуться влево» и получает в ответ отрендеренные картинки.

Каждый эпизод начинается с вида от первого лица и визуального вопроса. Дальше модель рассуждает, перемещается, меняет направление взгляда и только потом фиксирует ответ. Обучение двухэтапное: сначала supervised fine-tuning на готовых траекториях, затем reinforcement learning. Награда в основном привязана к правильности финального ответа.

Ключевая деталь в том, что RL не говорит модели, какие точки обзора посещать и какие действия выбирать. Политику исследования ей приходится выводить самой из одного сигнала: помогло взаимодействие с пространством ответить лучше или нет.

Что показали цифры

• Средняя точность на шести 3D-бенчмарках: 53,2%.
• Прирост к базовой Qwen: 22,0% (в аннотации не уточняется, в процентных пунктах или относительных).
• Результат выше проприетарной Gemini 3.6 Flash.
• Экономия входных кадров относительно открытых 3D-методов: 50–70%.
• На неизвестных доменах: в среднем +5,9% к supervised-инициализации.
• Выигрыш над базовой моделью на вопросах, решаемых с первого кадра: 0,6%; на вопросах, требующих долгого исследования: 16,3%.

Последняя пара цифр, пожалуй, самая показательная. Если ответ виден сразу, ACT3D почти ничего не добавляет к базовой модели. Если нужно искать, разница становится ощутимой. Значит, модель не гоняет камеру по сцене без нужды, а подстраивает исследование под вопрос.

Авторы описывают три паттерна поведения. ACT3D ищет объекты, закрытые другими предметами. Она избегает лишних перемещений, когда информации уже хватает. И она набирает дополняющие друг друга ракурсы для пространственных сравнений, например когда нужно сопоставить два объекта, не помещающихся в один кадр.

Где это может пригодиться

Идея шире конкретных бенчмарков. Модель учится не только рассуждать над визуальными данными, но и решать, когда и как их добывать. Для робототехники и embodied-агентов это естественная постановка: у робота тоже нет заранее собранного облака точек, есть камера и набор движений. Подход с наградой только за результат избавляет от дорогой разметки «правильных» маршрутов.

Для инженеров, которые строят пайплайны на VLM, вывод практический. Экономия 50–70% кадров означает меньше нагрузки на контекст и вычисления при инференсе, а базовую открытую модель можно подтянуть до уровня закрытой флагманской без смены архитектуры. Сначала SFT на траекториях, затем RL по исходу задачи — довольно воспроизводимая схема, и логично ждать её переноса на другие интерактивные среды.

Ограничения тоже есть. В аннотации речь идёт о симулированных 3D-средах с рендером, а не о реальных камерах, шумных сенсорах и динамических сценах. Переход в физический мир остаётся открытым вопросом, и ответ на него покажут уже следующие работы.