Action Intelligence запустила Chorus: данные для роботов выросли в 40 раз

Action Intelligence (行元智能) 27 октября анонсировала Chorus (по-китайски «众行») — кросс-эмбодиментный движок данных, который превращает видео человеческих действий в предобучающие данные для роботов разной конструкции. Заявленный эффект: обучающая выборка вырастает в 40 раз. Источники видео собираются с пяти типов носимых и ручных устройств, а главная цель — повысить коэффициент повторного использования человеческих данных.

Почему видео людей стало валютой робототехники

У языковых моделей был интернет. У роботов его нет. Каждый час реальных манипуляций с предметами нужно либо записать через телеоперацию, когда оператор в шлеме или с контроллерами управляет манипулятором, либо получить в симуляции, которая плохо переносится в физический мир. Первый путь дорог и медленен: нужны роботы, площадки, обученные операторы. Второй страдает от разрыва между симулятором и реальностью.

Человеческое видео устроено иначе. Люди и так каждый день берут чашки, открывают ящики, складывают одежду. Если снимать это на дешёвые носимые камеры, данные накапливаются на порядки быстрее. Но есть проблема: у человека рука с пятью пальцами и определённой кинематикой, а у робота может быть двухпальцевый захват, антропоморфная кисть или манипулятор с другим числом степеней свободы. Это и есть разрыв между «телами», или embodiment gap. Chorus закрывает его на уровне данных: исходное видео переводится в форму, пригодную для конкретной платформы.

Пять типов устройств в одной воронке

Сильная сторона анонса в том, что Chorus не привязан к одному способу съёмки. Компания называет следующие источники:

• Умные очки. Дают вид от первого лица, максимально близкий к тому, что «видит» голова робота.
• Нагрудная камера. Фиксирует рабочую зону перед телом и руки в кадре, не мешая движениям.
• Наручная камера. Показывает захват объекта крупным планом, что полезно для обучения точным контактным действиям.
• UMI-устройства. Ручные захваты с камерой по мотивам Universal Manipulation Interface. Движение человека записывается так, чтобы его проще было перенести на манипулятор.
• Умный головной обруч. Лёгкий носимый датчик для долгих смен съёмки.

Каждое из устройств по-своему искажает картину. Очки видят сцену целиком, но руки могут перекрываться. Наручная камера точно показывает контакт, но теряет контекст. Единый движок, принимающий такой разнородный поток, снимает с заказчика необходимость строить отдельный пайплайн под каждый сенсор.

Что обещает 40-кратный рост

Цифра 40 в заголовке релиза относится к объёму обучающих данных, доступных для предобучения, после того как человеческие видео прогнаны через Chorus. Логика проста. Если одну и ту же запись можно использовать для нескольких типов роботов, а не только для той платформы, на которой её сняли, суммарный полезный объём растёт кратно. Предобучение робототехнических foundation-моделей давно упирается именно в разнообразие и масштаб: без десятков тысяч часов разных задач, сцен и объектов модели плохо обобщаются.

Осторожности требует главный вопрос: насколько качественно переведённые данные работают на реальных роботах. Именно здесь кросс-эмбодиментные подходы обычно проверяются: сравнивают успех выполнения задач у моделей с добавлением человеческих данных и без него. Независимых замеров по Chorus пока нет, поэтому оценивать его придётся по будущим демонстрациям и открытым бенчмаркам.

Кому это пригодится на практике

Для разработчиков гуманоидов и манипуляторов Chorus обещает изменить структуру затрат: часть бюджета на телеоперацию можно заместить дешёвой съёмкой людей. Команды, у которых уже есть собственные парки носимых камер, получают шанс переиспользовать накопленные архивы. Интеграторам и заводам, где операторы выполняют типовые сборочные и складские операции, открывается возможность записывать реальную работу персонала и превращать её в обучающий материал.

Стоит следить за тремя вещами: какие именно роботы поддерживаются, в каком формате движок отдаёт данные и открывает ли Action Intelligence сравнения с базовыми методами. От ответов зависит, станет ли Chorus рабочим слоем инфраструктуры или останется красивой презентацией.