Кодинг-агент заменил телеоператора: роботы набрали 93 успеха из 100 против 84

Сбор демонстраций через телеоперацию остаётся стандартом в робототехнике, но каждый эпизод требует времени робота и оператора, а каждая новая задача начинается с нуля. Исследователи из группы DAGroup Пекинского университета предложили PyRUA-DataFarm — «ферму данных», где место телеоператора занимает кодинг-агент. На вход он получает запрос на данные и один калибровочный эпизод, то есть короткую запись робота в целевой сцене. На выходе получаются синхронизированные виды с камер, размеченные реальными действиями робота. Политики (управляющие модели), обученные только на таких данных, на пяти реальных задачах выполнили 93 из 100 попыток. Политики, обученные на том же числе телеоперированных эпизодов, справились в 84 случаях из 100.

Как агент заменяет оператора

Агент собирает задачу в симуляторе так, как это сделал бы инженер. Он восстанавливает сцену и камеры по калибровочному эпизоду, проверяет, что симулятор способен воспроизвести нужные навыки, и пишет экспертный контроллер вместе с судьёй успеха. Калибровочный эпизод определяет сцену и камеры, но источником действий не служит.

Затем симулятор запускает эксперта из множества начальных состояний и выдаёт траектории с точными действиями и состояниями объектов. Видеомодель, обусловленная реальными кадрами, отрисовывает каждый прогон сразу для всех камер, поэтому виды согласованы между собой. Новый внешний вид, например другая скатерть или освещение, задаётся текстовым описанием.

Отдельный вопрос — кто проверяет данные. Агент, который пишет и эксперта, и проверку успеха, может одобрять собственные ошибки, а видеомодель способна копировать компоновку референсов, дорисовывать лишние объекты или отходить от симулированного движения. Поэтому сертификация отделена от производства. Эксперта разрабатывают против судьи, которого он не видит, и допускают только по отложенным начальным состояниям. Рендерер может менять внешний вид, но не геометрию, объекты и тайминг. Каждый отрисованный эпизод сверяют с состоянием симуляции машинные проверки и независимый ревьюер.

Результаты на реальном роботе

Эксперименты проводились на пяти двуруких задачах с жёсткими, шарнирными и деформируемыми объектами, а также с объектами, имеющими дисплей. В исходной сцене данные фермы дали 93 успеха в 100 попытках против 84 у телеоперации. Разрыв стал заметнее при смене условий: под скатертью и цветным светом, которых не было ни в одном обучающем наборе, политики фермы сохранили 87 успехов, а обученные на телеоперации упали до 46. Авторы связывают это с вариацией внешнего вида, которую ферма добавляет вокруг фиксированных точных траекторий.

Рендеринг по реальным изображениям оказался решающим: те же траектории с обычной доменной рандомизацией дали только 26 и 21 успех. По статистике изображений эпизоды фермы более чем вдвое ближе к реальным кадрам камер, чем собственная отрисовка симулятора. При этом рендерер фермы удерживает все виды согласованными с симулированным движением, а прямой вызов видеомодели с этим справляется хуже.

Сколько это стоит

Адаптация задачи полностью автоматическая и обходится в среднем в $21 расходов на API, которые платятся один раз на задачу, плюс $5 за контракт на рендер. Каждый следующий эпизод — симуляция, рендеринг, повторный рендеринг и ревью — стоит в среднем $0,80 и не требует ни робота, ни оператора. При 100 эпизодах на задачу выходит в среднем $1,06 за эпизод.

Час синхронных трёхкамерных данных для задачи обходится в $107 со всеми этими затратами. Для сравнения: котировка телеоперации в Китае составляет $117, а одна только оплата труда в Северной Америке — $290. Код и страница проекта опубликованы, так что подход можно проверить на собственных задачах.