WorldBridge подняла долю успешных задач робота с 25,07% до 70,70% на RoboTwin 2.0

Исследователи WorldBridge выяснили, что помогает роботу выполнять задачи, которых не было в его обучении, и построили под этот вывод собственную модель. На симуляционном бенчмарке RoboTwin 2.0 доля успешно выполненных новых задач (так называемых out-of-distribution, то есть вне обучающего набора) без дополнительных данных составляла 25,07%. После добавления видео этих задач без меток действий она выросла до 55,90%, а с одной размеченной демонстрацией на каждую задачу — до 70,70%. Речь о World Action Models (WAM) — моделях, которые сначала предсказывают, как сцена будет меняться на видео, а затем превращают прогноз в команды для манипулятора.

Что дали видео и что дали действия

Авторы разделили два умения. Видеообобщение — способность предсказать, как должна развиваться незнакомая задача. Обобщение действий — способность перевести этот прогноз в исполнимые движения. За перевод отвечает «мост» от видео к действию, который работает как модель обратной динамики (inverse dynamics model, IDM): по смене кадров она восстанавливает, какое движение к ней привело.

Если обучать модель только на парах «видео плюс действия» из исходного набора задач, на новых задачах она справляется в 25,07% случаев. Видео новых задач без меток действий поднимает показатель до 55,90%. Если к ним добавить всего одну демонстрацию с действиями на каждую новую задачу, успех достигает 70,70%.

Авторы объясняют результат так: мост, обученный на исходных задачах, уже умеет превращать визуальные переходы в движения. Видео расширяет набор переходов, которые модель способна предсказать, а редкие размеченные примеры делают сам мост точнее.

Как устроена модель

WorldBridge построена на архитектуре Mixture-of-Transformers: у неё два отдельных эксперта, видео и действий, каждый со своими параметрами. Они обмениваются информацией через совместное самовнимание и обучаются общей функцией потерь flow matching. Инструкцию на естественном языке кодирует текстовый энкодер T5, а наблюдения — видео-VAE.

Ключевые решения:

• Структурированная маска внимания. Информация идёт от наблюдаемого контекста к будущему видео и уже оттуда к действиям, поэтому предсказанная динамика сцены явно управляет движением.
• Визуальная память двух масштабов. Краткосрочная хранит данные о локальном движении, долгосрочная — о ходе выполнения задачи.
• Action forcing. При обучении действиям внутри блока назначают независимые уровни шума, и модель учится предсказывать их по контексту с разной степенью искажения.

Данные и результаты

Для предобучения авторы собрали единый конвейер данных. Траектории разных роботов и эгоцентричные демонстрации с руками человека приводятся к общему 46-мерному представлению действий. Маски валидности по измерениям сохраняют частичную разметку, если у источника нет части управляющих сигналов. Траектории роботов проходят проверки на кинематическую и временную согласованность, а траектории рук приводятся к единой системе координат и фильтруются по геометрическим ограничениям и параметрам движения.

По заявлению авторов, среди сравниваемых методов WorldBridge показывает лучший результат на нескольких бенчмарках: 96,23% на RoboTwin 2.0 с полным набором данных, 80,9% в режиме C2R (clean to random — от чистых сцен к случайным), 82,8% на RoboCasa GR1 TableTop и 57,6% на DOMINO Level-1. На RMBench модель повторяет лучший результат в сравнении — 83,0%. Дополнительно оценка шла на SimplerEnv-WidowX и RoboDojo.

Один и тот же предобученный чекпойнт дообучили для реальных платформ AgiBot G2 и ARX AC-1. Там проверяли длинные последовательности действий, задачи с памятью, пространственное позиционирование и работу двумя руками.

Цифры 25,07%, 55,90% и 70,70% получены в симуляции, а формулировка «лучше аналогов» относится лишь к методам, которые авторы выбрали для сравнения. Для командам, которые собирают данные для роботов, вывод практический: видео новых задач без разметки стоит собирать в первую очередь, а ограниченный бюджет на разметку действий лучше потратить на одну демонстрацию для каждой задачи.