TARSphere проверяет роботов с MLLM-мозгом на 360 эпизодах в 30 сценах

Команда TARSphere выпустила полный программный стек для оценки роботов, которыми управляют мультимодальные языковые модели, в мире, где обстановка меняется, а люди передумывают. В основе бенчмарк TARSphere-Bench: 360 эпизодов в 30 внутренних сценах, пять парных условий проверки и две базовые задачи — «дойди и доложи» и «найди и доставь». Прогон восьми MLLM показал неудобную картину. Универсальные модели могут обгонять специализированные embodied-модели, а столкновения и падения остаются частым событием, даже когда у всех одинаковый интерфейс действий и бюджет решений.

Симулятор, в котором люди тоже чего-то хотят

Большинство существующих систем для воплощённых агентов оценивают выполнение заранее заданной цели. Либо они упрощают физику до символических действий вроде «взять предмет» или «перейти в комнату». В реальности робот в квартире или офисе сталкивается с другим: дверь внезапно закрыта, человек просит изменить заказ, а по одной фразе не всегда понятно, чего именно он хочет.

Поэтому нижний слой, TARSphere-Infra, запускает политики робота в физическом симуляторе. Рядом с ним находятся воплощённые NPC, то есть виртуальные люди, с которыми можно говорить в рамках ограниченного диалога. Результат считает событийный конечный автомат (FSM). Он следит за завершёнными действиями и переданной информацией, обновляет состояние задач и выносит вердикт. Автомат реагирует на то, что реально произошло в симуляции, а не на описание агента о собственных успехах.

Мозг на замороженной модели

Второй компонент, TARSphere-Harness, выступает «мозговой обвязкой» робота. Замороженная MLLM не дообучается под задачу. Она действует через многоуровневые исполняемые навыки и опирается на три источника: наблюдения, иерархическую память и обратную связь от исполнения. Последнее важно: модель видит, что её действие не сработало, и пересматривает решение.

Этот подход удобен для сравнения. Когда у всех восьми моделей один набор навыков и один бюджет решений, разница в результатах определяется самой моделью, а не качеством обвязки. Сам бенчмарк собирали с участием агента: agent-in-the-loop curation согласует смысл задач, причинные зависимости между шагами и геометрию сцен. Так в набор не попадают эпизоды, где предмет физически недостижим или инструкция противоречит планировке.

Где ломаются роботы

Пять парных условий проверяют разные стороны устойчивости:

• устойчивость восприятия;
• адаптация к помехам и сбоям;
• обновление задачи по ходу выполнения;
• координация с человеком;
• понимание намерений.

Главный вывод оценки такой: универсальные MLLM способны превзойти модели, заточенные под embodied-сценарии. Это ставит под вопрос расчёт, что узкое дообучение автоматически даёт более надёжного робота. Широкий мировой опыт и сильное рассуждение модели общего назначения, судя по результатам, иногда важнее специализации.

Слабые места общие. Обновление задачи и взаимодействие с людьми остаются трудными для всех. Агент, который хорошо идёт по плану, теряется, когда план нужно переписать на ходу или уточнить желание собеседника. Отдельно авторы отмечают частые столкновения и падения. Успешно доставленный предмет мало значит, если по пути робот сбил мебель.

Что менять в оценке роботов

Для команд, которые строят агентов на базе MLLM, TARSphere предлагает несколько практических ориентиров:

• Измерять безопасность исполнения рядом с долей выполненных задач. Две системы с одинаковым success rate могут резко отличаться по числу столкновений.
• Тестировать смену задач и диалог с человеком отдельно. Именно здесь, по результатам бенчмарка, у моделей больше всего провалов.
• Сравнивать модели при фиксированном интерфейсе действий и бюджете решений. Тогда видно, что даёт сама модель, а что обвязка.
• Не отбрасывать универсальные MLLM в пользу embodied-моделей без проверки на своих сценариях.

Есть и ограничение: всё это происходит в симуляции, в 30 внутренних сценах, а NPC говорят в рамках ограниченного диалога. Переход к реальному оборудованию добавит шум датчиков, износ механики и непредсказуемость людей. Но как рабочий каркас для сравнения «мозгов» роботов до выхода в физический мир TARSphere выглядит практичным. Он заставляет смотреть не только на то, дошёл ли робот до цели, но и на то, что он по дороге сделал с людьми и вещами вокруг.