HumanoidPose определяет позу гуманоида по видео и снижает ошибку углов на 18–32%

Исследователи представили HumanoidPose — модель, которая по обычному видео восстанавливает полную конфигурацию суставов гуманоидного робота в мировых координатах. На трёх реальных гуманоидных платформах она снижает ошибку по углам суставов на 18–32% относительно лучшего базового метода для каждой платформы. Основной массив обучающих данных синтетический: человеческие движения перенесли на 16 разных гуманоидных конструкций.

Зрение вместо датчиков

Авторы называют задачу «зрением как проприоцепцией». Обычно робот знает положение своих суставов благодаря встроенным датчикам. Но при взаимодействии с чужой машиной эти данные часто недоступны: мешают приватность, вопросы владения или ограничения канала связи. Есть и вторая проблема. Видео с роботами в сети и ролики, сгенерированные ИИ, исчисляются огромными объёмами, но к ним не приложены углы суставов. Для обучения роботов с такими записями напрямую не поработать.

HumanoidPose закрывает обе дыры: ему нужен только видеоряд, а на выходе получается поза всего тела.

Как собрана модель

В основе лежит сочетание двух источников. Предобученные признаки для оценки позы человека объединены с кинематикой робота в единой модели, которая предсказывает конфигурацию суставов для каждой конкретной конструкции. Чтобы собрать данные для обучения, авторы ретаргетировали человеческие движения на 16 гуманоидов. Разметка при этом получается автоматически, потому что углы суставов известны по построению.

Синтетика обычно плохо переносится на реальные кадры. Поэтому команда добавила самообучение: неразмеченные онлайн-видео используются для создания 2D-детектора позы робота. Он нужен именно для устойчивости на реальных записях, где освещение, ракурсы и фон не похожи на симуляцию.

Что показали измерения

• Точность по углам и положению суставов выше, чем у всех сравниваемых базовых методов.
• Ошибка по углам суставов ниже на 18–32% относительно лучшего базового метода на каждой из трёх реальных гуманоидных платформ.
• Улучшена глобальная локализация, то есть положение робота в мировых координатах.
• Модель лучше обобщается на конструкции, которых не было в обучении.

Ограничения тоже видны. Из описания не ясно, работает ли система в реальном времени, насколько устойчива к перекрытиям и какие именно платформы вошли в тест. Цифры получены на наборе базовых методов, выбранном авторами, и независимой проверки пока нет.

Где это пригодится

Первый сценарий: роботу нужно понимать, что делает другая машина рядом, а доступа к её телеметрии нет. Камеры хватит, чтобы оценить позу партнёра или конкурента по рабочему пространству.

Второй сценарий важнее для разработчиков. Если по видео можно получать углы суставов, то онлайн-ролики и генерации видеомоделей превращаются в источник траекторий для обучения политик. Дорогой сбор данных на реальном железе можно частично заменить архивами видео, при условии что качество оценки позы выдержит проверку на ваших платформах. Для команд, работающих с гуманоидами, стоит проследить, опубликуют ли авторы код и веса: именно от этого зависит, станет ли HumanoidPose инструментом или останется статьёй.