RoboCasa-Shift: бенчмарк показал, где ломаются VLA-роботы на кухне

Один и тот же провал в среднем проценте успеха может означать совсем разные поломки робота. К такому выводу приходит команда RoboCasa-Shift: диагностического бенчмарка для VLA-политик (vision-language-action), построенного на симуляторе RoboCasa365. Авторы прогнали через него GR00T N1.5 на четырёх длинных кухонных задачах, четырёх факторах возмущения и трёх калиброванных уровнях жёсткости. Итог — 1 040 зачётных прогонов, в том числе условия, при которых политика проваливала задачу полностью.

На показательном примере видно, зачем это нужно. Сдвиг камеры уровня L2 и размытие по Гауссу уровня L1 дают одинаковое падение успешности, ΔSR=0,188. По агрегированной метрике это близнецы. Но стадийный разбор показывает, что на первом этапе задачи политика ломается в 19,0% случаев при сдвиге камеры и в 36,4% при размытии. Итоговая цифра одна, а траектории отказа разные.

Парные прогоны вместо сравнения средних

Обычно устойчивость VLA оценивают так: берут чистый запуск, берут возмущённый, сравнивают средний success rate. Проблема в том, что два набора эпизодов отличаются не только целевым сдвигом, но и случайными начальными условиями. RoboCasa-Shift устроен строже. Каждая пара прогонов использует одни и те же базовые настройки сцены и различается только исследуемым возмущением. Сдвиги при этом одиночные: меняется ровно один фактор, поэтому причину деградации не нужно угадывать.

Такой дизайн вскрывает эффект, который в среднем не виден. Одно из камерных условий дало ΔSR=0, то есть формально ничего не изменилось. Но в 8 из 80 парных эпизодов исход при этом поменялся. Часть задач, которые робот раньше выполнял, он начал проваливать, а часть, наоборот, внезапно выполнил. Средняя цифра просто сложила плюсы и минусы. Для деплоя такая нулевая дельта опасна: она создаёт ощущение устойчивости там, где поведение политики фактически нестабильно.

Глубина провала как отдельная метрика

Третий элемент бенчмарка — диагностика по стадиям, привязанная к состоянию симулятора. Длинная бытовая задача состоит из последовательных этапов, и авторы смотрят, до какого из них политика доживает. Это даёт профиль глубины исполнения: робот может споткнуться сразу на захвате или дойти почти до конца и уронить результат на финальном шаге. Для инженера это принципиально разные баги с разными лекарствами. Первый часто указывает на проблемы восприятия, второй — на накопление ошибок по ходу задачи.

Ещё одно наблюдение: увеличение жёсткости возмущения не всегда ведёт к монотонному ухудшению. Более сильный сдвиг может оказаться для политики безобиднее слабого. Отсюда следует, что одной кривой «сила возмущения — качество» для VLA недостаточно.

Параметры исследования

• Бенчмарк: RoboCasa-Shift на базе RoboCasa365
• Оцениваемая политика: GR00T N1.5
• Задачи: четыре длинных бытовых сценария, прошедших заранее заданный порог качества на чистых условиях
• Факторы возмущения: четыре, по три калиброванных уровня жёсткости
• Объём: 1 040 зачётных прогонов
• Метрики: падение успешности (ΔSR), чувствительность исходов в парных эпизодах, доля отказов на каждом этапе
• Код: открыт на GitHub, репозиторий HaochengWang23/RoboCasa-Shift

Как менять процесс тестирования роботов

Для команд, которые дообучают или внедряют VLA, вывод практический. Одного процента успеха на выходе мало: нужны хотя бы три слоя отчётности — итоговая деградация, число эпизодов, где исход изменился при нулевой средней дельте, и распределение отказов по этапам задачи. Первый слой отвечает на вопрос «насколько плохо», второй — «насколько нестабильно», третий — «где чинить».

Условие отбора задач тоже важно. Авторы допускают к анализу только те задачи, которые политика уверенно решает без возмущений. Иначе невозможно отличить хрупкость модели от того, что она и в чистой среде не справляется. Эту практику стоит перенять и при сравнении разных моделей.

Ограничения тоже понятны: оценена одна политика и четыре задачи, причём в симуляции. Как эти профили отказов переносятся на реальные кухни и другие VLA, покажут следующие работы. Но у сообщества появился открытый инструмент, который позволяет задавать такие вопросы на одинаковых условиях. Для робототехники, где ценой ошибки становится разбитая посуда или остановленная линия, это существенный шаг от рейтингов к диагностике.