MambaAct ускоряет робота на π0.5: эксперт в 10 раз меньше, задержка −64,8%

Команда исследователей показала MambaAct: компактный action expert на архитектуре Mamba для VLA-модели π0.5. Он в 10 раз меньше исходного трансформерного эксперта и сокращает задержку flow-matching денойзинга на 64,8% в симуляторе LIBERO и на 58,8% в реальном развёртывании. Качество при этом не просело, а выросло: средний показатель успеха в LIBERO поднялся на 1,08 процентного пункта по трём независимым сидам дообучения. Код и веса выложены в открытый доступ.

Почему именно action expert стал узким местом

VLA-модели (vision-language-action) берут изображение с камер и текстовую инструкцию и выдают последовательность действий для манипулятора. В π0.5 за это отвечают две части. Крупный визуально-языковой префикс-энкодер понимает сцену и команду. Отдельный action expert генерирует непрерывные действия методом flow matching: он стартует с шума и за несколько итераций «очищает» его до траектории.

Проблема в слове «итераций». Энкодер можно прогнать один раз, а эксперт вызывается на каждом шаге денойзинга, и внутри него трансформер снова и снова делает cross-attention к токенам префикса. Для робота, которому нужно реагировать на мир в реальном времени, эти повторы превращаются в прямую потерю скорости. Именно здесь авторы MambaAct и ищут выигрыш.

Mamba вместо трансформера и сжатый контекст вместо cross-attention

Архитектурных изменений два. Первое: трансформерный эксперт заменён на компактный, где Mamba работает как action mixer. Она моделирует зависимости внутри зашумлённой последовательности непрерывных действий. Предобученный префикс-энкодер π0.5 остаётся нетронутым, поэтому знания о зрении и языке никуда не деваются.

Второе: без cross-attention нужно как-то передавать эксперту, что робот видит и что от него хотят. Для этого добавлен лёгкий Context Compressor. Он превращает токены префикса VLM в компактный сигнал кондиционирования, который гейтит и модулирует каждый блок Mamba. Вместо поштучного обращения к токенам на каждом шаге эксперт получает уже сжатое представление контекста.

Ключевые параметры работы:

• база: π0.5 с flow-matching action expert;
• размер action expert: в 10 раз меньше;
• снижение задержки денойзинга: 64,8% на LIBERO, 58,8% в реальном развёртывании;
• прирост среднего успеха на LIBERO: +1,08 п.п. по трём сидам дообучения;
• проверка на LIBERO-Plus и реальных задачах: преимущество сохраняется;
• лицензия и доступность: код и веса опубликованы на GitHub.

Что в цифрах важнее: скорость или качество

Ускорение на 58,8% на реальном роботе убедительнее симуляционных 64,8%. Бенчмарк прощает многое, а физическая установка с камерами, приводами и задержками показывает, доходит ли выигрыш до железа. Разница между двумя числами небольшая, и это хороший знак: экономия не растворилась в реальной инфраструктуре.

Прирост успеха в 1,08 п.п. скромный, но его ценность в другом. Сжатие эксперта в десять раз обычно покупается потерей качества, а здесь метрика выросла. То, что результат подтверждён тремя независимыми сидами, снижает риск, что это случайный всплеск. Сохранение преимущества на LIBERO-Plus, где условия сложнее, добавляет аргумент в пользу устойчивости подхода.

Где это пригодится на практике

Для команд, которые уже работают с π0.5 или родственными flow-matching VLA, MambaAct выглядит как готовая точка для эксперимента. Префикс-энкодер менять не нужно: подмена затрагивает только action expert, а веса и код открыты, так что можно сравнить результат на собственных задачах.

Главный выигрыш получат те, кому не хватает частоты управления: мобильные манипуляторы, платформы со слабым бортовым вычислителем, системы, где один и тот же GPU делит ресурсы между восприятием и планированием. Меньший эксперт освобождает память, а сокращённая задержка денойзинга даёт больше запаса по времени на цикл управления.

Осторожность тоже нужна. Результаты получены на LIBERO, LIBERO-Plus и в конкретных реальных сценариях, а перенос на другие морфологии роботов и более длинные задачи придётся проверять отдельно. Но направление понятно: в VLA для робототехники оптимизировать стоит не только гигантскую языковую часть, но и маленький, зато многократно вызываемый блок генерации действий.