Команда Цинхуа выпустила HandsOn: 66 задач для проверки ловкости роботов

Исследователи из Университета Цинхуа опубликовали HandsOn — бенчмарк для оценки ловкой манипуляции роботов. В него вошли 66 задач, которые проверяют, как машина справляется с двумя многопальцевыми кистями сразу: от хвата и переноса объектов до работы с инструментами и деликатных контактов. Авторы исходят из простой посылки: «экзаменационные билеты» для роботизированной руки пора переписать, потому что старые рассчитаны на другую аппаратуру.

Почему старые тесты перестали работать

Большинство популярных бенчмарков по манипуляции десятилетиями строилось вокруг параллельных захватов, то есть двух «губок», которые сжимают предмет. Для такой механики набор задач понятен: взять, переложить, вставить, нажать. Оценивать нечего, кроме точности позиционирования и последовательности действий.

Многопальцевая кисть устроена иначе. У неё десятки степеней свободы, пальцы могут вести себя независимо, а один и тот же предмет можно удержать множеством способов. Тест, в котором всё сводится к «схватил и поставил», не показывает, умеет ли робот перехватывать предмет в ладони, пользоваться отвёрткой или аккуратно придерживать одной рукой то, с чем работает другая. HandsOn закрывает этот пробел и ставит во главе угла именно двуручную работу.

Ego-данные как топливо для ловких рук

Вторая причина появления бенчмарка связана с данными. Записей человеческих действий от первого лица становится всё больше: камеры на голове или очках фиксируют, как люди берут вещи, пользуются инструментами и совершают точные контактные действия. Такие датасеты показывают то, что трудно собрать иначе, а именно естественную мелкую моторику в бытовых и рабочих сценариях.

Для параллельного захвата эти данные малоприменимы: движения человеческой кисти приходится сильно упрощать. Ловкая кисть похожа на человеческую по строению, и разметку «как делает человек» можно перенести на робота с гораздо меньшими потерями. Отсюда логика авторов: если индустрия собирается учить роботов на ego-видео, ей нужна общая система измерения результата, иначе сравнивать подходы будет невозможно.

Что известно о HandsOn:

• 66 задач в одном наборе;
• фокус на ловких многопальцевых кистях, а не на параллельных захватах;
• двуручные сценарии как отдельный объект оценки;
• категории действий: хват, использование инструментов, тонкий контакт;
• разработчик: исследовательская группа Университета Цинхуа.

Кому это пригодится на практике

Первыми пользователями бенчмарка станут команды, которые делают политики управления для гуманоидов и манипуляторов с ловкими кистями. Единый набор задач позволяет сравнивать модели, обученные на человеческом видео, с подходами на телеоперации и на симуляции, не придумывая каждый раз собственные сцены. Для производителей железа это возможность увидеть, где конструкция пальцев или тактильных сенсоров становится узким местом.

Есть и более приземлённый эффект. Пока у ловких рук нет общепринятого теста, любые заявления о «человеческой ловкости» остаются демонстрациями на удачных роликах. Стандартизованный набор из 66 задач повышает цену таких заявлений: результат либо воспроизводится на общих задачах, либо нет. Для инвесторов и заказчиков, выбирающих между разными платформами, это один из немногих способов отличить реальный прогресс от хорошо смонтированного видео.

Успех HandsOn будет зависеть от того, примут ли его другие лаборатории. Если бенчмарк закрепится, он может стать для ловких рук тем же, чем стали для манипуляции с захватами прежние стандартные наборы: общим языком, на котором сравнивают модели.