FocusVLA учит робота выбирать камеру по стадии задачи: +13,3 п.п. на реальных тестах

Робот-манипулятор с несколькими камерами должен видеть и всю сцену целиком, и то, что происходит у самого схвата. Но, как выяснили исследователи из Technology Center of Software Engineering of ISCAS, современные VLA-модели используют эти ракурсы крайне однобоко. Их новая система FocusVLA добавляет на RoboTwin 2.0 в среднем 10,10 процентного пункта успеха к сильнейшей базовой модели π0.5, а в реальных экспериментах поднимает результат с 71,7% до 85,0%. Работа принята на конференцию CoRL 2026.

Политика, которая смотрит только на запястье

Vision-language-action модели объединяют зрительное восприятие, понимание языка и генерацию действий в одной политике. Для надёжного захвата нужно наблюдать объект, рабочий орган и их взаимное расположение, поэтому на роботов ставят сразу несколько камер: общую обзорную и локальную, закреплённую на запястье. Предполагается, что виды дополняют друг друга.

Авторы FocusVLA проверили, так ли это на практике, и получили неприятный ответ. Существующие VLA не используют комплементарность видов в полной мере. Политика упорно держится за запястную камеру и не меняет баланс между глобальным и локальным видом по мере выполнения задачи. Между тем на разных стадиях манипуляции нужна разная информация. Во время подхода к предмету полезна общая картина сцены. Перед самым касанием важнее детали у схвата. Из-за постоянной привязки к одному ракурсу страдают адаптивность к стадиям и устойчивость.

Намерение вместо жёсткой схемы

FocusVLA построена как stage-aware фреймворк маршрутизации видов. Система берёт историю уже выполненных действий и по ней предсказывает будущее намерение взаимодействия, то есть то, что робот собирается делать дальше. Это предсказание управляет динамической маршрутизацией видов при генерации действий. Модель сама решает, на каком ракурсе сделать упор в текущий момент, и согласует глобальные и локальные наблюдения на разных стадиях задачи.

Важная инженерная деталь: модуль предсказания намерения и модуль динамической маршрутизации можно встраивать в существующие VLA-фреймворки без изменения их базовой архитектуры. Это ближе к плагину, чем к новой модели с нуля.

Что показали измерения

Цифры из работы:

• RoboTwin 2.0: средний успех выше, чем у сильнейшего бейзлайна π0.5, на 10,10 п.п. • Реальные эксперименты: успех вырос с 71,7% до 85,0% • Разница с π0.5 в реальных тестах: 13,3 п.п. • Принятие: CoRL 2026 • Авторы: Huixin Xu, Ziya Yu, Peng Li • Организация: Technology Center of Software Engineering of ISCAS • Препринт: arXiv 2610.31423

Прирост на реальном роботе даже больше, чем в симуляции. Для области, где разрыв между бенчмарком и физическим миром традиционно болезненный, это важный сигнал. Всё же стоит помнить: в качестве базовой выбрана π0.5, одна из самых заметных открытых VLA-моделей, и именно у неё FocusVLA и выигрывает. Сравнение с другими политиками и разбивка по отдельным задачам остаются вопросом к полному тексту статьи.

Где это пригодится на практике

Наблюдение авторов подходит для любой команды, которая обучает манипуляционные политики на нескольких камерах. Если модель систематически игнорирует обзорный ракурс, добавление второй или третьей камеры увеличивает стоимость стенда и объём данных, а пользы почти не приносит. Простая проверка, на какой вид политика опирается на разных стадиях, показывает, есть ли у вашей системы та же проблема.

Второй практический вывод связан с совместимостью. Раз модули встраиваются в существующие VLA без изменения ядра, их можно испытать на уже обученной архитектуре, не перестраивая весь пайплайн. Для индустрии складских и сборочных роботов, где стабильность на длинных многостадийных операциях важнее рекордов на отдельных демо, такая логика выглядит рабочей.

Пока на странице статьи нет связанных моделей, датасетов и демо-пространств, поэтому независимая проверка результатов зависит от того, опубликуют ли авторы код. Но сама идея, что намерение робота определяет, куда ему смотреть, выглядит естественным следующим шагом для VLA с мультикамерными входами.