DONIC научил одну политику управлять двумя руками: 86,79% успеха без дообучения

Команда исследователей выпустила DONIC — единую политику для управления двумя ловкими роботизированными кистями, которая отслеживает человеческие движения при работе с предметами. Один чекпоинт без какого-либо дообучения справляется с 86,79% незнакомых траекторий на знакомых объектах и с 57,32% на объектах, которых в обучении не было. От лучших существующих базлайнов двурукого трекинга это отрыв в 77,36 и 45,73 процентного пункта соответственно.

Если вычесть разницу из результата, получается, что у конкурентов выходило порядка 9% на знакомых объектах и около 12% на новых. То есть до сих пор двурукий трекинг работал на уровне, близком к «почти никогда».

Почему две руки сложнее, чем одна, умноженная на два

До сих пор трекинг эталонных движений для ловких кистей развивался в основном вокруг одной руки и узкого набора взаимодействий. Реальная жизнь устроена иначе: открутить крышку, удержать коробку снизу и сбоку, переложить предмет из ладони в ладонь. Всё это требует, чтобы две руки играли разные роли и вовремя менялись местами.

Здесь две проблемы. Во-первых, данных о насыщенных контактами двуруких манипуляциях очень мало. Во-вторых, с каждой дополнительной рукой резко растёт сложность согласования контактов: ошибка одной кисти ломает хват другой. Поэтому универсального двурукого трекера до сих пор не было.

BiHOI: данные, которых не хватало

Авторы начали с датасета. BiHOI — мультивью-набор из 1575 последовательностей с 229 объектами, где упор сделан на длительное двуручное взаимодействие, а не на короткие касания. Реконструированные по видео взаимодействия ретаргетируются в референсы для робота, то есть человеческие движения переводятся в траектории, которые может исполнить робо-кисть. DONIC обучали одновременно на разных категориях операций и разных источниках человеческого движения, и эта смесь важна для обобщения.

Петля, в которой робот учится на собственных удачах

Обучение строится на связке proximal policy optimization и behavioral cloning. Они работают в петле обратной связи: исполнения, прошедшие проверку на успех, возвращаются в обучение как демонстрации. Политика сама пополняет набор хороших примеров.

Два других решения касаются наград и оценки преимущества:

• Object-centered per-hand reward. Награда привязана к движению объекта, поэтому обратная связь по тому, что происходит с предметом, сохраняется. При этом каждая рука оценивается по своей контактной роли в референсе. • Clip-Centered Advantages. Метод убирает смещения преимущества, зависящие от конкретного референса, но оставляет различия внутри траектории. Логика такая: клипы заметно различаются по сложности, и без центрирования обучение тянуло бы к лёгким.

Вместе эти решения позволяют одной политике осваивать скоординированные манипуляции на разнородных референсах.

Ключевые параметры

• Первый универсальный двурукий трекер, обученный сразу на нескольких категориях операций и источниках движений • BiHOI: 1575 последовательностей, 229 объектов, мультивью • 86,79% успеха на новых траекториях знакомых объектов • 57,32% на отложенных объектах • Отрыв от лучших базлайнов: 77,36 и 45,73 п.п. • Один чекпоинт, без дообучения

Кому это пригодится первым

Людям, которые строят гуманоидов и манипуляторы с ловкими кистями. Бутылкой выступает не железо, а данные и управление: если человеческие демонстрации можно надёжно переводить в двуручные референсы, а единая политика их исполняет, то сбор данных через видео и телеоперацию становится рабочим конвейером. Такая политика может служить низкоуровневым исполнителем, а над ней можно ставить планировщик или языковую модель, которая задаёт, что именно делать.

Ограничение тоже видно в цифрах. На новых объектах успех 57,32%, значит, почти в каждом втором случае система всё ещё ошибается. Для производства или дома этого мало, но как исследовательская база и ориентир по обобщению результат сильный. Обобщение на форму и вес незнакомых предметов теперь можно измерять и улучшать на общем датасете и с понятной базовой линией.