Роботы делятся опытом: флот из 96 машин поднял успех упаковки с 79,2% до 98,3%

Группа авторов предложила способ, при котором парк работающих роботов учит одну общую политику сам, без людей, которые следят за каждым сбоем. На пяти реальных задачах манипуляции итоговые политики показали успех 93,3–99,2%. Оценка шла по 120 испытаний на задачу, на роботах, не участвовавших в сборе обучающих данных. В многоэтапной упаковке телефонов обучение с участием 96 роботов подняло успех с 79,2% до 98,3%.

Исходная проблема знакома любому, кто пробовал выводить роботов из лаборатории. Во время эксплуатации машины накапливают опыт, и его хочется использовать для повышения надёжности. Но стандартная схема опирается на людей: телеоператор наблюдает за выполнением, вмешивается при ошибке, а его коррекции идут в обучение. Пока роботов десяток, это терпимо. Когда парк растёт, на каждую машину оператора не хватит. Авторы называют своё решение collective experience learning, CEL: развёрнутые роботы делятся опытом выполнения и улучшают общую политику.

Как устроен FERT

Реализует CEL метод failure-guided experience retrieval fine-tuning, FERT. Логика такая: когда робот терпит неудачу, система берёт контекст сбоя и ищет в общем банке успешного опыта всего парка траекторные фрагменты, подходящие к этой ситуации. Действия из найденных фрагментов становятся обучающим сигналом для обновления политики. Новые экспертные демонстрации и корректирующие действия человека не собирают.

Второй компонент, FATS, отвечает за инфраструктуру. Это отказоустойчивая асинхронная система обучения, которая координирует три процесса: сбор опыта, оптимизацию политики и рассылку обновлённой политики роботам. Она рассчитана на то, что часть парка периодически выпадает из работы из-за локальных сбоев. Для реального развёртывания это не мелочь: машины останавливаются, теряют связь, уходят на обслуживание, а обучение при этом должно продолжаться.

Что показали эксперименты

Основные цифры из работы:

• 5 реальных задач манипуляции, успех итоговых политик 93,3–99,2%;
• 120 испытаний на каждую задачу, на роботах, исключённых из сбора обучающих данных;
• многоэтапная упаковка телефонов: 79,2% → 98,3% при обучении с 96 роботами;
• время сбора на один робот зафиксировано, поэтому размер парка напрямую задаёт объём опыта;
• FERT в целом даёт более высокий успех на всех проверенных размерах парка.

Особенно важна фиксация времени сбора на робота. Она показывает эффект именно масштаба парка: каждая машина работает столько же, но суммарного опыта больше, и политика выигрывает. Формулировка «в целом» в оригинале говорит, что рост не обязательно монотонен на каждой задаче и каждом размере. Оценка на роботах вне обучающей выборки добавляет доверия: политика не просто запомнила конкретные машины.

Что с этим делать на практике

Для компаний, которые уже держат парки манипуляторов на складах, сборке или упаковке, главный вывод в экономике надзора. Если улучшение политики не требует постоянной работы операторов-корректоров, стоимость роста надёжности отвязывается от числа людей в смене. Парк становится источником данных, а не только их потребителем.

Ограничения тоже видны. Метод опирается на общий банк успешного опыта, поэтому на задачах, где роботы почти никогда не справляются, искать будет нечего. Проверка проводилась на пяти задачах, и перенос на другие сценарии и типы роботов нужно подтверждать отдельно. В аннотации нет данных о вычислительной стоимости и сетевых требованиях, так что перед внедрением стоит смотреть полный текст статьи. Но направление понятно: когда роботов много, учиться им выгоднее друг у друга, а не у человека над душой.