Модель WorldBridge подняла долю успеха на новых задачах с 25,07% до 70,70% в RoboTwin 2.0

Исследователи представили WorldBridge — World Action Model (WAM): модель, которая предсказывает, как будет развиваться сцена на видео, и переводит этот прогноз в команды для робота. Главный вопрос работы — что сильнее помогает роботу справляться с задачами, которых не было в обучении: больше видео или больше размеченных действий. На RoboTwin 2.0 (симуляторе задач для двуруких роботов) доля успеха на таких новых задачах выросла с 25,07% при обучении только на знакомых данных до 55,90% после добавления видео этих задач и до 70,70% после добавления всего одной демонстрации с действиями на каждую задачу. Кроме того, сама модель показала лучшие результаты среди сравниваемых методов на нескольких тестах манипуляции.

Что дают видео и что дают действия

Эксперимент строился на трёх режимах обучения. В первом модель видела только пары «видео + действия» для задач из исходного обучающего набора. На новых задачах (out-of-distribution, то есть вне обучающего распределения) она добивалась 25,07% успеха — результат ненулевой, но слабый.

Во втором режиме в обучение добавили видео новых задач, но без меток действий, а разметка действий осталась только для исходных задач. Успех вырос до 55,90%. По мнению авторов, модель использует уже выученную способность обратной динамики (inverse dynamics): по изменению сцены она восстанавливает действие, которое к нему привело, и применяет это умение к новому видео.

В третьем режиме к тем же видео добавили по одной демонстрации с действиями на каждую новую задачу. Успех поднялся до 70,70%. Авторы описывают разделение ролей: видео расширяет круг задач, которые модель умеет «представлять», а даже небольшое число размеченных действий усиливает мост от картинки к управлению. Вывод согласуется с работами DreamZero и Zero-WAM, где видеоприоры уже применяли для выполнения незнакомых задач и переноса навыков с видео без действий.

Как устроена WorldBridge

Архитектура — Mixture-of-Transformers с двумя отдельными экспертами: для видео и для действий. У каждого свои параметры, feed-forward сети и декодер, а информацией они обмениваются через общее self-attention. Видеоэксперт дополнительно получает текстовую инструкцию через cross-attention. Контекст кодируют видео-VAE и текстовый энкодер T5, а обучение идёт по общей цели flow matching с независимыми уровнями шума для видео и действий.

Среди особенностей модели:

• Структурированная маска внимания. Информация идёт от наблюдаемого контекста к будущим видеопредставлениям, а затем к действиям, поэтому предсказанная динамика сцены явно задаёт условия для управления.
• Визуальная память в двух масштабах. Краткосрочная хранит локальное движение, долгосрочная — ход выполнения задачи.
• Action forcing. Внутри одного блока действий разным элементам при обучении задают независимые уровни шума, и эксперт действий учится опираться на временной контекст с разной степенью искажения.

Отдельно описан единый конвейер данных. Траектории роботов и эгоцентрические демонстрации рук человека приводятся к общему 46-мерному представлению действий. Маски валидности по измерениям сохраняют частичную разметку для платформ с разными интерфейсами управления. Данные роботов проходят проверки кинематики и согласованности во времени, а траектории рук стандартизируют в общей системе координат и фильтруют по геометрическим и двигательным ограничениям.

Результаты и ограничения

Среди сравниваемых методов WorldBridge показывает лучшие результаты: средний успех 96,23% на RoboTwin 2.0 в полном режиме, 80,9% в режиме clean-to-random, 82,8% на RoboCasa GR1 TableTop и 57,6% на DOMINO Level-1. На RMBench модель сравнялась с лучшим результатом в сравнении авторов — 83,0%. Дополнительно проверка шла на SimplerEnv-WidowX и RoboDojo. На реальных роботах AgiBot G2 и ARX AC-1 один и тот же совместно предобученный чекпойнт дообучали под каждую платформу; тесты охватывали длинные цепочки действий, задачи с памятью, пространственное позиционирование и двуручную координацию.

Оговорки стоит учитывать. Ключевые цифры по переносу получены на симуляционном бенчмарке, а лидерство заявлено «среди сравниваемых методов», то есть в выборке самих авторов. Для практиков главный вывод такой: дешёвое видео без разметки может дать основную часть прироста при переносе на новые задачи, а несколько размеченных демонстраций стоит добавлять точечно, чтобы закрепить результат.