SpatialScout: лучший VLM-агент собрал 3D-карту комнаты лишь на 41,71%

Модели умеют отвечать на вопросы о пространстве, но это не значит, что они способны его измерить. Авторы бенчмарка SpatialScout проверили именно это: дали VLM-агентам камеру, список объектов и ограниченное число шагов, а затем потребовали указать, где в комнате что стоит. Лучший результат показала Claude Opus 5.5: средний overlap score 41,71%. Порог IoU 0,5 преодолели 47,23% целевых объектов, порог 0,9 — только 3,25%.

Агент с камерой и ограниченным бюджетом шагов

Большинство тестов пространственного интеллекта устроены как викторина: показали картинку или видео, задали вопрос про взаимное расположение предметов. Ответ «лампа слева от дивана» можно угадать по грубой композиции кадра, и он ничего не говорит о том, способна ли модель построить точную карту. SpatialScout убирает эту лазейку. Агент сам решает, куда направить камеру, какие кадры запросить и как сопоставить один и тот же объект на разных снимках.

На входе агент получает инвентарь объектов, RGB-наблюдения, калибровку камеры и её позы. На выходе он должен выдать центры объектов в общей системе координат. Набор данных включает 80 разнообразных внутренних сцен и 3140 целевых объектов. Взаимодействий с камерой на каждую сцену выделено ограниченное количество, поэтому бесконечно облетать комнату и перепроверять всё не получится.

Задача требует сразу четырёх навыков: выбрать ракурс, связать наблюдения между видами, оценить геометрию и пересмотреть карту, когда новый кадр противоречит прежней гипотезе. Слабое звено в любом из них ломает результат.

Где ломается карта: от комнаты к сантиметрам

Метрика устроена жёстко. Оценка учитывает и точность локализации, и покрытие целей, а пропущенные предсказания штрафуются. Объект, который агент не нашёл, засчитывается как провал, а не просто отсутствует в статистике. Сравнение идёт через overlap-оценки в масштабе самого объекта: для маленькой кружки допустимая ошибка в метрах заметно меньше, чем для шкафа.

Ключевые цифры лучшей из проверенных моделей:

• средний overlap score: 41,71%;
• доля целей с IoU выше 0,5: 47,23%;
• доля целей с IoU выше 0,9: 3,25%;
• сцен в бенчмарке: 80, целевых объектов: 3140.

Разрыв между 47,23% и 3,25% показывает, где проходит граница. Модель в целом понимает, что в комнате есть диван, стол и окно, и примерно прикидывает, где они. Но когда нужна точность, пригодная для навигации или манипуляции, результат рассыпается. Авторы формулируют это как разрыв между восстановлением грубой раскладки и построением полной точной метрической карты.

Стоит учесть и то, что тестировали передовые модели, а не слабые базовые. Если даже лидер закрывает меньше половины целей на приемлемом уровне, проблема лежит глубже, чем настройка промпта или удачный выбор ракурсов.

Что менять в пайплайнах уже сейчас

Для команд, которые строят роботов, AR-ассистентов и агентов для физической среды, SpatialScout полезен как диагностика. Он показывает, на каком этапе модель теряет точность: при выборе ракурса, при сопоставлении объектов между кадрами или при геометрической оценке. Это важно, потому что лечение у каждой болезни своё.

Практические выводы:

• не полагайтесь на VLM как на единственный источник метрической карты; геометрию лучше доверять специализированным модулям вроде SLAM или многовидовой реконструкции, а языковую модель оставить для семантики и планирования;
• оценивайте пространственные способности агента по метрикам с порогами IoU, а не по ответам на вопросы: средний результат скрывает хвост неточных предсказаний;
• закладывайте в систему механизм ревизии карты, потому что именно пересмотр гипотез при новых наблюдениях остаётся слабым местом;
• следите за покрытием: пропущенный объект для робота хуже, чем объект с небольшой ошибкой координат.

Код бенчмарка опубликован на GitHub, так что любая лаборатория может прогнать на нём собственного агента и сравнить с цифрами Claude Opus 5.5. Пока планка невысока: чтобы получить карту, на которую можно положиться, моделям предстоит заметно улучшить точность на верхних порогах IoU.