SkeLAM научил робота повторять движения человека, обучившись на 10 часах данных

Около 10 часов записей робота и одна демонстрация человеческой рукой. Этого хватило исследователям из Харбинского технологического института (кампус в Шэньчжэне), чтобы получить модель SkeLAM, которая переносит движение с человека на манипулятор без дообучения. В основе системы лежит предобученная видеомодель Cosmos-Predict2.5-2B, а обучали её на примерно 10 часах роботных данных.

Человек на входе, манипулятор на выходе

Эксперимент устроен просто. Модель учили на данных, где роботизированная рука взаимодействует с объектами. На проверке роботные кадры заменили демонстрацией человека: в кадре двигается живая рука. Сгенерированное видео показывает механическую руку, чьё движение соответствует жесту человека. Направление перемещения совпадает с демонстрацией.

Важная деталь в том, как это сделано. Параметры модели при переносе полностью заморожены, под человеческие демонстрации ничего не дообучали. Такой режим называют zero-shot: модель встречает данные другой природы и справляется с ними на тех весах, что получила на роботных данных.

Почему перенос между телами остаётся узким местом

У робототехники давняя проблема нехватки данных. Записи телеуправления дороги: нужны оператор, оборудование и время. Видео, где человек двигает руками, снимать в разы проще, и в сети их огромное количество. Но рука человека и захват манипулятора отличаются по геометрии, числу степеней свободы и внешнему виду. Модель, обученная на одной «форме тела», обычно плохо читает другую. Эту задачу в литературе называют кросс-эмбодимент-переносом.

SkeLAM показывает, что на небольшом объёме роботных данных можно выстроить мост между двумя формами. Десять часов по меркам индустрии скромный датасет. Часть возможностей берёт на себя большая видеомодель, у которой уже есть представление о физике сцены, объектах и динамике движений.

Параметры эксперимента

• Авторы: Харбинский технологический институт, кампус в Шэньчжэне
• Название модели: SkeLAM
• Базовая модель: Cosmos-Predict2.5-2B, предобученная видеомодель с около 2 млрд параметров
• Обучающие данные: суммарно около 10 часов данных взаимодействия робота
• Сценарий проверки: перенос с человеческой руки на роботизированную руку
• Вход при проверке: видеодемонстрация человека вместо роботных кадров
• Результат: механическая рука в сгенерированном видео движется в направлении, соответствующем демонстрации
• Режим переноса: все параметры заморожены, дообучения на этих демонстрациях нет

Что остаётся проверить

Генерация видео и управление реальным манипулятором лежат на разных ступенях. Ролик, в котором рука движется в нужную сторону, ещё не гарантирует, что физический робот выполнит захват, поворот или точное позиционирование. Совпадение направления движения проверяет основу, но не тонкую моторику. Дальнейшая работа, скорее всего, пойдёт в сторону преобразования сгенерированных траекторий в команды для реальных роботов и тестов на разных платформах.

Для тех, кто строит роботов, практический вывод такой. Если дальнейшие проверки подтвердят результат, значительную часть данных для обучения можно будет собирать не на роботе, а на людях с обычной камерой. Это снижает стоимость датасетов и ускоряет итерации. Видеомодели класса Cosmos становятся не просто генераторами роликов, а базой для политик управления. Следить стоит за тем, как команда перенесёт результат на физические платформы и какие метрики успешности задач покажет вне демонстрационных видео.