LIBERO-MAX прогнал роботов через 224 тысячи симуляций с убегающим объектом

Китайское издание Jiqizhixin рассказало о LIBERO-MAX, бенчмарке, который оценивает не точность робота в замороженной сцене, а его динамическую надёжность. Тест построен на 224 тысячах симуляционных прогонов. Центральный сюжет прост: манипулятор уже тянется к чашке, а человек в этот момент сдвигает её на несколько сантиметров.

Устаревший кадр

Для человека такая ситуация пустяковая: глаз видит смещение, рука поправляется. Для робота она сложнее. Он наблюдал сцену в один момент, построил по ней план и начал его исполнять. Если объект сдвинули после этого, и наблюдение, и уже сгенерированные действия указывают на пустое место. Продолжив движение, рука схватит воздух.

Проблема связана с тем, как устроены многие современные политики управления. Модели класса VLA (vision-language-action) нередко предсказывают не один шаг, а целый фрагмент траектории, и исполняют его без оглядки на происходящее. Это снижает задержки и сглаживает движения. Но на время такого фрагмента робот фактически работает вслепую. Чем дольше фрагмент, тем дороже ошибка, если мир успел измениться.

Что известно о LIBERO-MAX

LIBERO сам по себе давно стал одним из стандартных симуляционных наборов для манипуляции: на нём сравнивают политики обучения роботов. Как правило, сцена в нём не меняется после старта эпизода, и успех измеряется тем, дошёл ли робот до цели. Именно этот пробел и закрывает LIBERO-MAX, добавляя вмешательства в ходе выполнения задачи.

Из доступной части материала можно выделить следующее:

• масштаб: около 224 тысяч симуляций, достаточно для статистики по разным типам возмущений, а не по нескольким удачным примерам;
• тип возмущения: объект смещается на небольшое расстояние уже после того, как робот его увидел и начал движение;
• что проверяется: способность вовремя заметить расхождение между планом и реальной сценой и перестроить действие;
• метрика: надёжность в динамике, а не доля успеха в статичной постановке.

Поимённых результатов моделей и конкретных чисел деградации в доступном фрагменте нет, так что сравнивать конкретные политики пока нечем. Полный разбор стоит искать в самой работе.

Почему это важно за пределами симулятора

Главная ценность подобного бенчмарка в том, что он ломает иллюзию о высоких баллах на статичных тестах. Модель, которая уверенно проходит эпизоды на заранее подготовленных сценах, может вести себя совсем иначе рядом с человеком, который что-то двигает, задевает или забирает. А именно такая среда ждёт домашних, складских и сервисных роботов.

Практический вывод для команд, которые разрабатывают или выбирают манипуляционные политики, такой:

• смотреть не только на средний процент успеха, но и на то, как он падает при вмешательстве в ходе выполнения;
• проверять длину исполняемых фрагментов действий и частоту повторного наблюдения: частый пересмотр плана стоит вычислений, но снижает риск промаха;
• включать динамические возмущения в собственные регрессионные тесты, а не ограничиваться чистыми сценами;
• не считать симуляционную надёжность доказательством для реального оборудования: перенос в физический мир остаётся отдельной проверкой.

Пока LIBERO-MAX выглядит как полезный стресс-тест: он задаёт вопрос, который в лабораторных демо обычно не звучит. Что делает робот, когда мир не стоит на месте.