Рантайм REA довёл успешность задач LIBERO-Pro до 95,9% против 94,7% у лучшего агента

Большие модели хорошо рассуждают, но слишком медленны и дороги, чтобы напрямую управлять манипулятором. Быстрые политики вроде VLA-моделей и контроллеров всего тела реагируют за доли секунды, зато плохо обобщаются. Группа авторов из Национального университета Сингапура, UC Berkeley, Токийского университета, Гонконгского университета науки и технологий и других центров предлагает REA (Routed Embodied Agent) — единый рантайм, где «мозг» и «мозжечок» работают асинхронно. На 3000 тестовых эпизодах по 60 задачам LIBERO-Pro система набрала 95,9% успеха, обогнав лучшего одиночного агента Agents SDK + GPT-6 (94,7%).

Почему связка «агент + быстрая политика» ломается

Авторы начинают с цифр о цене рассуждающего агента. Кодинг-агент тратил в среднем 43 минуты на одну задачу LIBERO, а пайплайн Codex + GPT-6 съел 89 млн входных токенов на генерацию программ для 60 задач LIBERO-Pro. Использовать модель как прямой контроллер тоже не выходит: при выдаче одиночных токенов или декартовых IK-действий она решила 1 из 1987 и 0 из 600 эпизодов. При этом VLA-модели, которые превышают 90% на обычном LIBERO, заметно проседают на возмущённом наборе LIBERO-Pro.

Простая склейка двух уровней даёт две типовые проблемы. Если агент вызывает быструю политику и ждёт ответа, робот простаивает: агент-советник, которого роутер дожидается, отнимал 2,6 секунды на эпизод — около 20% времени управления. Если же быстрая политика зовёт агента только при ошибке, это не помогает: устойчивая ошибка раз за разом запускает «мозг», а большинство провалов исключений вообще не вызывает. Роутер с триггером по исключениям эскалировал лишь 6 раз в 590 эпизодах, хотя 166 из них закончились неудачей. Повторный запуск тоже опасен: если задача уже решена, он может отменить результат.

Три уровня и «золотое правило»

REA строится на правиле: ни одна работающая политика не ждёт мозг. Система трёхуровневая. System 2 — агент, который генерирует политики офлайн или онлайн и даёт советы или выносит вердикты. System 1 — «воплощённый роутер»: он сам не выдаёт действий, а решает, какую политику запустить и когда обратиться к агенту. System 0 — быстрые политики: замороженные программы, VLA или контроллеры всего тела, которые возвращают управление на границах сегментов (например, программа ставится на паузу каждые 100 шагов).

Роутер опирается на три механизма:

• Route memory. До оценки каждую политику прогоняют на отдельных девелоперских эпизодах и записывают успешность и среднее число шагов. На тесте выбор политики превращается в обычный поиск по таблице, без вызова агента.
• Judge gate. Когда политика вернула управление, визуальная модель-судья параллельно сравнивает начальный и текущий кадры с инструкцией и решает, решена ли задача. Если да, система останавливается и не портит готовый результат. Так ловятся «тихие» провалы без исключений. Порог и промпт судьи заморожены на 216 размеченных примерах до тестов.
• Лестница эскалации с общим бюджетом. Следующие политики запускаются из текущего состояния, а все запуски и вызовы мозга тратят один бюджет шагов и времени, так что эпизод не превышает бюджет одиночной политики.

Что показали эксперименты

По данным авторов, REA оказался самым быстрым из измеренных методов и уложился в 1% от «ретроспективного оракула», который выбирает лучшую политику для каждой задачи задним числом. В тексте работы время управления у REA на 17% ниже, чем у Agents SDK + GPT-6, и на 25% ниже, чем у блокирующего советника. В аннотации сокращение времени и шагов управления указано как 17% и 25% соответственно.

На отдельном исследовании RoboTwin 2.0 (по 50 чистых и 50 рандомизированных эпизодов) REA с VLA-политиками показал 84%, а с VLA и кодом — 86%. Сильнейшая одиночная VLA-модель MEDex дала 80%. В BEHAVIOR-1K система решила 27 из 50 эпизодов против 25 у агента на Agents SDK, но авторы сами отмечают, что разница статистически незначима. В тесте на 200 сценах RoboTwin результат составил 97/200 против 75/200 у Codex CLI. На реальном гуманоиде Unitree G1 робот подошёл к стулу и толкнул его в 8 из 10 попыток.

Ограничения

Большая часть результатов получена в симуляторах, а реальный эксперимент ограничен десятью попытками на одной задаче. Преимущество на LIBERO-Pro — около 1,2 процентного пункта, поэтому важен масштаб выборки и парные статистические тесты, которые авторы применяют. Пул политик по-прежнему готовит агент офлайн, так что стоимость генерации программ никуда не исчезает. Зато для практиков вывод ясен: дорогой агент стоит убрать из контура управления. Пусть он готовит политики заранее и выступает судьёй на границах сегментов, а выбором политики занимается дешёвый роутер с памятью о прошлых результатах.