Кодовый агент заменил телеоператора: 93 успеха из 100 против 84 у людей

Чтобы научить робота, например, открывать ящик, человек-оператор с пультом много раз показывает нужные движения, а после каждой неудачи вручную расставляет предметы заново. Каждый такой эпизод стоит времени оператора и самого робота, а для новой задачи или новой сцены сбор данных начинается с нуля. Команда DAGroup из Пекинского университета предложила систему PyRUA-DataFarm («ферма данных»), в которой оператора заменяет кодовый агент: по одной короткой записи сцены он сам собирает задачу в симуляторе и выпускает размеченные видео для обучения.

На пяти реальных задачах робот, обученный только на таких данных, справился в 93 из 100 попыток, а обученный на столько же эпизодов телеоперации — в 84. Для тех, кто собирает данные для манипуляторов, это способ сократить расходы на операторов и перенастройку под новые задачи.

Как агент подменяет оператора

На входе всего два предмета: текстовое описание задачи с условием успеха и один калибровочный эпизод — короткая запись робота в нужной сцене с нескольких камер. Действия из этой записи не копируются. Она нужна, чтобы понять, где стоят камеры, какие в сцене объекты и каких они размеров.

Дальше агент работает как инженер. Он восстанавливает сцену в симуляторе, проверяет, что симулятор вообще умеет нужные навыки (скажем, потянуть ящик за ручку), и пишет три вещи: описание сцены, программу-эксперта, которая решает задачу, и проверку успеха. Эксперта запускают из множества начальных положений, и симулятор выдаёт точные действия, состояния объектов и контакты.

Остаётся проблема картинки: симуляция выглядит как симуляция, и робот, обученный на ней, в реальности спотыкается. Поэтому каждый прогон отдают видеомодели, которая получает реальные кадры из калибровочной записи. Она рисует фотографичное видео сразу для всех камер, сохраняя позу руки, предметы и контакты из симуляции. Новая скатерть или цветной свет задаются обычной текстовой подсказкой.

Отдельно устроен контроль качества. Агент, который сам пишет и эксперта, и проверку успеха, может одобрять собственные ошибки. Поэтому эксперта разрабатывают против судьи, чей код он не видит, и принимают только по отложенным стартовым состояниям. Видеомодели разрешено менять внешний вид, но не геометрию, объекты и тайминг. Каждый готовый эпизод сверяют с симуляцией автоматические проверки и независимый ревьюер, и лишь после этого он попадает в набор.

Что показали эксперименты

Тесты проходили на пяти реальных двуруких задачах с жёсткими, шарнирными и мягкими объектами, включая ткань и экран. Роботы, обученные только на данных фермы, дали 93 успеха в 100 попытках. Роботы на таком же числе телеоператорских эпизодов дали 84.

Разрыв заметнее при смене условий. Когда на стол положили незнакомую скатерть и включили цветной свет, политики фермы сохранили 87 успехов, а обученные на телеоперации упали до 46. Авторы объясняют это тем, что ферма добавляет разнообразие внешнего вида вокруг фиксированных точных траекторий.

Реальные кадры в видеомодели оказались критичны: те же траектории с обычной рандомизацией текстур и освещения дали всего 26 и 21 успех. По статистике изображений эпизоды фермы более чем вдвое ближе к реальным кадрам, чем рендер самого симулятора.

Сколько это стоит

Адаптация новой задачи обходится в среднем в $21 расходов на API — их платят один раз на задачу, — плюс $5 за контракт на рендер. Каждый следующий эпизод в среднем стоит $0,80 за симуляцию, рендер, перерендер и проверку, без робота и оператора. На 100 эпизодах выходит в среднем $1,06 за эпизод. Час синхронных данных с трёх камер получается по $107 со всеми этими затратами. Для сравнения: котировка на телеоперацию в Китае — $117 за час, а одна только оплата труда в Северной Америке — $290.

Ограничения и вывод

Разница с китайской телеоперацией небольшая: главная экономия проявится на больших объёмах и при частой смене задач, когда единоразовые $26 на настройку распределяются по многим эпизодам. Цены посчитали сами авторы, независимого аудита нет. Проверяли пять задач, и всё держится на том, что симулятор способен воспроизвести нужные навыки: для контактных операций со сложной физикой это может не сработать. Это препринт, результаты ещё никто не воспроизводил.

Практический вывод: связка «симулятор даёт действия, видеомодель даёт внешний вид, независимый ревьюер допускает данные» уже сопоставима с телеоперацией по качеству и устойчивее при смене сцены. Код выложен на GitHub в репозитории PyRUA-Lean, ветка DataFarm.