Ropedia W0 обучили на 10 тыс. часов видео людей и 3 тыс. часов роботов

Ropedia W0 обучена на 13 тысячах часов данных: 10 тысяч часов эгоцентрического видео людей и 3 тысячи часов записей роботов. По заявлению авторов, это первая foundation world model, которая совместно моделирует перемещение и манипуляции для людей и машин с разной морфологией. Модель показала лучшие результаты на пяти кросс-эмбодимент бенчмарках, а после дистилляции делает минутные прогнозы в реальном времени, чего хватает для интерактивной работы в VR.

Проблема, которую решают исследователи, знакома всем, кто занимается воплощённым ИИ. World model должна предсказывать последствия действий агента. У человека, колёсного манипулятора и гуманоида пространства действий устроены по-разному, а мультимодальной разметки, где ходьба и работа руками описаны вместе, мало. Обычно эти задачи разделяют: отдельно навигация, отдельно хватание. Для длинных сценариев вроде «дойти до стола, взять предмет, перенести» такая схема неудобна.

Единый язык движений и корпус Xp-Data

В W0 действия разных тел переведены в общее кинематическое представление. Перемещение кодируется позами камеры, манипуляции — спроецированными скелетами рук и тела. Для роботов скелеты получают из прямой кинематики конкретной платформы и дополняют ручной разметкой ключевых точек с последующей коррекцией. Это трудоёмкая часть работы, но именно она выравнивает данные людей и машин.

Корпус Xp-Data собран с единой мультимодальной аннотацией и системным контролем качества. Отдельно авторы выпускают бенчмарк Xp-Teleop для длинных loco-manipulation задач на основе качественной телеоперации ловких гуманоидов.

Ключевые параметры из описания работы:

• Xp-Data: 10 тыс. часов эгоцентрических данных людей и 3 тыс. часов данных роботов;
• представление действий: позы камеры для движения, проецируемые скелеты для манипуляций;
• оценка на пяти бенчмарках: DreamDojo, Ψ_0, ω-HOME, Xp-Teleop и AgiBot, плюс отложенное видео людей;
• режимы проверки: zero-shot, few-shot и посттренинг на полных данных;
• после дистилляции: минутные прогнозы в реальном времени и живое VR-взаимодействие.

Люди как источник масштаба

Главный практический вывод касается данных. Увеличение объёма человеческих данных на претрейне улучшает метрики не только на человеческих, но и на роботных оценках. Видео людей от первого лица собирать кратно дешевле, чем телеоперацию гуманоидов, и если перенос между телами работает на этих масштабах, узкое место воплощённого ИИ смещается от дорогих роботных датасетов к разметке и контролю качества.

Стоит смотреть и на связку с реальным временем. Большие world models обычно слишком медленны для интерактивного использования. Здесь дистиллированная версия держит минутные сценарии без деградации, о которой заявляли бы авторы, и позволяет человеку в VR наблюдать за предсказанным миром или влиять на него. Для оценки политик и симуляции такая скорость определяет, можно ли гонять тысячи прогонов без реального оборудования.

Оговорка: это результат из аннотации. Публикация сообщает о лидерстве на бенчмарках, но не содержит сведений о выпуске весов и кода. Заявление «первая в классе» тоже исходит от самих авторов. Цифры по отдельным метрикам и абляциям нужно проверять по полному тексту.

Где это пригодится первым

Авторы показывают три прикладных сценария: оценку политик, планирование на основе модели и world-action modeling. Для команд, которые обучают гуманоидов, самый осязаемый из них — оценка политик внутри world model: можно отсеять слабые варианты до запуска на железе. Тем, кто собирает данные, стоит присмотреться к самой схеме: единое кинематическое представление и ручная коррекция скелетов роботов становятся обязательным шагом, если планируется смешивать данные людей и машин. Если Ropedia опубликует Xp-Teleop, он может стать полезным тестом для длинных задач, где ходьба и работа руками идут одним потоком.