SpatialBrain учит замороженную VLM копить опыт: плюс на 4 из 5 бенчмарков

Команда авторов SpatialBrain предлагает способ улучшить пространственное рассуждение vision-language модели без дообучения: веса базовой VLM остаются замороженными, а вокруг неё строится слой памяти, навыков и накопленного опыта. На пяти бенчмарках по пространственному рассуждению система превосходит прямые ответы той же модели на четырёх и выходит вничью на пятом.

Когда хватает взгляда, а когда нужен замер

Исходная мысль работы проста. Дать модели геометрические инструменты недостаточно, потому что остаётся вопрос выбора. Иногда ответ виден на картинке. Иногда сцену нужно реконструировать, измерить расстояние или пересчитать положение объектов в другой системе отсчёта. Агент, который вызывает реконструкцию на каждый вопрос, тратит ресурсы впустую. Агент, который всегда отвечает «на глаз», ошибается там, где нужна точность.

Авторы разделяют два вида знания. Первое — свидетельства о конкретной сцене: где стоит стол, как далеко дверь. Второе — опыт о том, как рассуждать с этими свидетельствами: при каких условиях хватает прямого наблюдения, а при каких нужен замер. Первое привязано к одной сцене и бесполезно в другой. Второе переносится между задачами, и именно его SpatialBrain пытается накапливать.

Три слоя вокруг замороженной модели

Архитектура состоит из трёх компонентов, которые работают поверх неизменной VLM:

• 3DFusionMemory сводит наблюдения текущей сцены в пространственные отношения, к которым можно обращаться запросами.
• Spatial Skill Library хранит переиспользуемые процедуры работы с инструментами: как реконструировать, как измерять, как менять систему отсчёта.
• Spatial Cognition связывает условия задачи с опытом: когда подключать память, какой навык вызывать и как.

Первые два слоя дают ресурсы, третий учит ими распоряжаться. По сути, это попытка вынести из модели в отдельный модуль то, что обычно прячется в промптах и эвристиках агентного кода.

Опыт без утечки ответов

Механика накопления устроена аккуратно. Завершённые траектории не сохраняются как есть, а абстрагируются в записи о процессе: какие решения принимались и к чему они привели. Между блоками задач эти записи консолидируются, и последующие решения опираются на более ранние запуски.

Ключевое ограничение: в следующие задачи не переносятся ни координаты сцен, ни эталонные ответы. Для оценки это важно. Рост качества нельзя списать на запоминание конкретных примеров, потому что передаётся только знание о процедуре рассуждения.

Итоговая картина на пяти бенчмарках неоднородна. Четыре улучшения и одна ничья означают, что универсального выигрыша нет: если сцена и вопрос такие, что прямого ответа достаточно, надстройка ничего не добавляет. Зато она и не вредит, а это для агентного слоя уже неплохой результат.

Авторы дополнительно приводят сравнения компонентов, кривые покрытия опыта и трассы решений о ресурсах. Они показывают, как система накапливает опыт и в каких ситуациях обращается к памяти и навыкам. Кривые покрытия особенно полезны: по ним видно, сколько опыта нужно набрать, прежде чем он начнёт влиять на качество.

Что забрать в агентные пайплайны

Для тех, кто строит агентов на закрытых или дорогих в дообучении VLM, SpatialBrain даёт рабочий шаблон. Модель можно не трогать, а улучшать вокруг неё: отдельная память сцены, каталог процедур и журнал решений, который переживает отдельные задачи. Принцип разделения «свидетельства о сцене» и «опыт рассуждения» применим и за пределами пространственных задач, например в робототехнике и навигации, где модель выбирает между быстрым восприятием и дорогим измерением.

Практический вывод: бюджет вызовов инструментов стоит считать частью качества. Если опыт подсказывает, что для данного типа вопросов хватает взгляда, реконструкция откладывается. Проверять такие системы нужно на нескольких бенчмарках сразу, ведь ничья на пятом показывает, что выигрыш зависит от типа задачи.