Рантайм REA довёл успех роботов на LIBERO-Pro до 95,9% и сократил шаги управления на 25%

Команда из Национального университета Сингапура, UC Berkeley, Токийского университета, HKUST и других институтов предложила REA (Routed Embodied Agent) — единый рантайм, в котором медленный «мозг» на основе большой модели и быстрые «рефлекторные» политики работают асинхронно. Главное правило системы: ни одна исполняемая политика не ждёт мозг. На 3000 тестовых эпизодах по 60 задачам LIBERO-Pro (вариант бенчмарка манипуляций с возмущённым тестовым набором) REA показала 95,9% успешных эпизодов против 94,7% у сильнейшего одиночного бейзлайна Agents SDK + GPT-6. Число шагов управления при этом снизилось на 25%, а время управления — на 17%.

Три уровня вместо одного контура

Большие модели хорошо рассуждают, но слишком медленны и дороги для роли контроллера. Быстрые VLA-политики и контроллеры всего тела, такие как SONIC, рефлекторно точны, но плохо обобщаются. Архитектура REA делится на три слоя. System 2 — агент-«мозг»: офлайн он генерирует политики (замороженные программы на Python), а онлайн даёт советы и выносит вердикт, выполнена ли задача. System 1 — роутер, который сам не выдаёт действий, а решает, какую политику запустить и когда обращаться к мозгу. System 0 — быстрые политики: программы, VLA-модели или контроллеры всего тела; они работают в собственном темпе и возвращают управление роутеру на границах сегментов.

Роутер опирается на три механизма. Первый — память маршрутов: до оценки каждая политика прогоняется на девелоперских эпизодах, а её успешность и стоимость записываются в таблицу, так что выбор политики на тесте сводится к поиску по ней. Второй — судья на границах: когда политика вернула управление, визуальная модель сравнивает начальный и текущий кадры с инструкцией и решает, закончена ли задача. Третий — лестница эскалаций с общим бюджетом шагов и времени.

Почему простые схемы не работают

Авторы показывают, что два очевидных способа связать мозг и рефлексы ломаются. Если агент вызывает быструю политику и роутер дожидается его совета, робот простаивает 2,6 с на эпизод LIBERO-Pro — около 20% времени управления. Если же политика зовёт агента только по ошибке, большинство сбоев остаётся незамеченным: роутер с триггером по исключениям эскалировал лишь 6 раз на 590 эпизодов, хотя 166 из них провалились. Повторный запуск уже выполненной задачи способен испортить результат, поэтому судья ещё и защищает готовую работу.

Использовать модель как прямой контроллер тоже не получается: в пробах модели, выдающие одиночные токены или декартовы IK-действия, решили 1 из 1987 и 0 из 600 эпизодов LIBERO-Pro. Генерация политик недешёвая: медианно 43 минуты на задачу LIBERO, а конвейер Codex + GPT-6 потратил 89 млн входных токенов на 60 задач LIBERO-Pro. VLA-модели с результатом выше 90% на обычном LIBERO резко деградируют на возмущённом наборе LIBERO-Pro.

Результаты и ограничения

REA подошла к «ретроспективному оракулу» по задачам (идеальному выбору политики на каждую задачу) ближе чем на 1 п.п. и стала быстрейшим из замеренных по времени методов: на 17% меньше времени управления, чем у Agents SDK + GPT-6, и на 25% меньше, чем у блокирующего советника. Судья на границах добавляет качество по сравнению с триггером по исключениям, но тратит в 2,1 раза больше времени на один успех.

В отдельном исследовании RoboTwin 2.0 (по 50 чистых и 50 рандомизированных эпизодов) REA с VLA-политиками достигла 84%, а с добавлением кода — 86%; сильнейший одиночный VLA-бейзлайн MEDex получил 80%. Обученные и программные политики работают в одном рантайме. На BEHAVIOR-1K система решила 27 из 50 эпизодов против 25 у агента на Agents SDK, но авторы отмечают, что разница статистически незначима. На другой выборке RoboTwin REA набрала 97 из 200 против 75 у Codex CLI. На реальном гуманоиде Unitree G1 робот дошёл до стула и толкнул его в 8 из 10 попыток.

Оговорки такие. Основной выигрыш над лучшей одиночной политикой на LIBERO-Pro составляет 1,2 п.п., а значительная часть эффекта связана с эффективностью: меньше шагов и времени. Память маршрутов настраивается на девелоперских эпизодах до тестов, а пул политик собран из программ, написанных кодинг-агентами, так что результат зависит от качества этого пула. Практический вывод для разработчиков роботов: связку «большая модель плюс быстрые политики» полезнее строить как диспетчер с заранее измеренной статистикой, где дорогую модель зовут редко и вне критического пути.