S-Agent 2.0 научил кодинг-агента понимать 3D и обошёл SpatialClaw на 7,8 пункта

Авторы S-Agent 2.0 взяли готового универсального кодинг-агента, дали ему командную строку с набором инструментов 3D-восприятия и получили заметный скачок на пространственных бенчмарках. Открытая Qwen3.8-27B дошла до 66,5 балла на MMSI-Bench и 82,3 на ReVSI. Это на 13,9 и 20,5 пункта выше, чем у того же агента без инструментов. Gemini-3.8-Flash с тем же набором набрала 74,1 и 90,5. Специализированная система SpatialClaw на тех же моделях показала 62,6 и 74,5 для Qwen и 67,0 и 79,7 для Gemini.

Где терялась точность

Пространственное рассуждение требует от модели определить, где в трёхмерной сцене находятся объекты, как они расположены друг относительно друга и как движутся. Агентные VLM уже заметно улучшили результаты на таких задачах: вместо одного ответа за проход они сами собирают данные через инструменты 3D-восприятия. Но у подхода есть слабое место. На многих вопросах инструменты возвращают верные данные, а модель всё равно отвечает неправильно. Сырые показания не превращаются в пригодный вывод, и именно этот зазор между моделью и инструментами авторы пытаются закрыть.

Три шага вместо россыпи утилит

В основе S-Agent 2.0 один принцип: помочь VLM замкнуть цикл доказательств. Он состоит из трёх частей.

• Получение данных о сцене через набор команд в терминале.
• Хранение найденного в постоянной памяти сцены, чтобы не пересчитывать одно и то же.
• Описание каждого показания простым пространственным языком, а не голыми числами.

Сама система не пишется с нуля. Это обычный кодинг-агент, у которого сохранена вся гибкость: он может писать скрипты, комбинировать вызовы, проверять промежуточные результаты. При этом каждое показание, на которое он опирается, остаётся привязанным к геометрии, которую выдали инструменты. Модель не придумывает расстояния, а читает их из инструмента и получает пояснение, что они означают.

Цифры и сравнение со SpatialClaw

• Qwen3.8-27B: 66,5 на MMSI-Bench и 82,3 на ReVSI. Прирост от инструментов составил +13,9 и +20,5. Базовый уровень без инструментов, судя по этим данным, около 52,6 и 61,8.
• Gemini-3.8-Flash: 74,1 и 90,5, прирост +11,2 и +9,6.
• SpatialClaw на Qwen3.8-27B: 62,6 и 74,5. S-Agent 2.0 впереди на 3,9 и 7,8 пункта.
• SpatialClaw на Gemini-3.8-Flash: 67,0 и 79,7. Отрыв S-Agent 2.0 составляет 7,1 и 10,8 пункта.

Есть и важная оговорка, которую авторы приводят сами. Чем сильнее базовая модель, тем меньше выигрыш от инструментов. Но у систем он сжимается по-разному. Прирост SpatialClaw на ReVSI при переходе от Qwen к Gemini падает с +13,2 до +2,7, то есть почти исчезает. У S-Agent 2.0 на том же переходе он снижается с +20,5 до +9,6 и остаётся ощутимым. Для практики это важнее абсолютных очков: если инструмент перестаёт помогать при росте модели, его придётся выбросить через пару релизов.

Отдельно отмечено, что S-Agent 2.0 работает в разных оболочках для кодинг-агентов, включая Codex и Claude Code. Значит, результат не привязан к одному продукту.

Что можно взять в работу

Главный вывод для разработчиков агентных систем касается интерфейса. Качество зависит не только от набора инструментов, но и от того, как их ответы возвращаются модели. Память о сцене и словесное описание показаний можно перенести в другие задачи: робототехнику, анализ видео, навигацию. Если вы строите агента на готовом кодинг-харнессе, то схему «команды, память, интерпретация» разумно проверить на собственных данных, не переписывая сам харнесс.

Стоит учитывать и ограничения. Все цифры получены на двух бенчмарках, а прирост шрифтом не измерить на реальных камерах и шумных сенсорах. Пока это сильный результат для исследовательской постановки, а не готовая система для робота.