Обзор: роботы учатся улучшать сам процесс обучения, но доказательств пока нет

Идея рекурсивного самоулучшения (RSI) выглядит так: система учится не просто лучше выполнять задачу, а лучше учиться. Цифровые агенты уже подбираются к этому, переписывая собственный код и проверяя каждую версию исполняемыми тестами. Авторы нового обзора на Hugging Face Daily Papers спрашивают, что будет, если вынести тот же механизм в физический мир, где тесты стоят времени, железа и иногда необратимых поломок. Их ответ состоит из четырёх условий, при которых улучшения робота не растворяются, а накапливаются, и из неприятного наблюдения: в физических исследованиях вклад рекурсии как таковой пока не удалось отделить от обычного обучения.

Цена ошибки в железе

У программного агента цикл простой. Он меняет код, запускает тесты, видит результат и оставляет лучшую версию. Откат занимает секунды, а наблюдаемость почти полная.

У робота всё иначе. Он работает с частичными наблюдениями: камеры и датчики показывают только кусок реальности. Каждая попытка стоит дорого, потому что нужно время, оператор, сброс сцены и износ механики. Условия меняются: освещение, трение, поведение объектов, состояние самих приводов. А последствия ошибки могут быть необратимыми, от разбитой чашки до сломанного манипулятора. Поэтому прямой перенос схемы «переписал себя и проверил» не работает. Авторы размещают RSI внутри робототехнического обучения и прослеживают путь от улучшения возможностей робота к улучшению процессов, которые эти возможности порождают.

Четыре условия, при которых выигрыш не пропадает

Центральная часть работы определяет, когда улучшение действительно идёт дальше и помогает усовершенствовать сам механизм улучшения. По авторам, выигрыш переносится только при совпадении четырёх факторов:

• обратная связь отвечает на то, чего системе ещё не хватает для обучения, а не на то, что она уже умеет;
• компонент, получающий изменение, способен его использовать;
• ценность улучшения сохраняется при смене задач или аппаратной платформы;
• дальнейшая практика остаётся безопасной и доступной по цене.

Это удобный чек-лист. Улучшенная политика управления бесполезна, если следующий этап обучения не умеет ею воспользоваться. Навык, привязанный к одной конкретной руке, теряет смысл после замены манипулятора. А схема, требующая тысяч рискованных попыток, упирается в бюджет и безопасность раньше, чем в алгоритмы.

Что уже показано в манипуляции

Существующие работы сосредоточены в основном на манипуляции, то есть на захвате и перемещении объектов. Они подтверждают три вещи: поведение робота действительно улучшается, накопленный опыт облегчает последующее обучение, а сами процедуры обучения тоже можно улучшать. Некоторые системы идут дальше и меняют знания или инструменты самого «улучшателя».

Но главный пробел авторы называют прямо. Среди рассмотренных физических исследований пока нет таких, где прирост удалось бы однозначно приписать рекурсии. Робот становится лучше, но неясно, потому ли это, что он улучшил способ улучшения, или просто потому, что набрал больше данных и попыток. Для индустрии это важное различие: без него любое заявление о «самоулучшающемся роботе» остаётся маркетингом.

Как проверять заявления о самоулучшающихся роботах

Из обзора вытекают принципы оценки, которые пригодятся и разработчикам, и инвесторам, и тем, кто читает громкие релизы.

Первое: требуйте абляций. Если система якобы улучшает свой процесс обучения, нужно сравнение с версией, где этот процесс заморожен, при равном числе физических попыток. Второе: смотрите на переносимость. Выигрыш, сохраняющийся только на одной задаче и одной платформе, мало говорит о рекурсии. Третье: считайте полную стоимость практики, включая время операторов, износ оборудования и меры безопасности. Четвёртое: проверяйте, что именно меняет система. Правки политики управления, процедуры сбора данных, знаний или инструментов улучшателя дают разный уровень рекурсии, и смешивать их нельзя.

Для команд, строящих роботов общего назначения, это ещё и дорожная карта. Самый короткий путь к реальному RSI, судя по обзору, лежит не через более мощные модели, а через дешёвую и безопасную петлю обратной связи, которая точно указывает на пробелы в обучении. Тот, кто первым построит такую петлю и докажет её вклад честной абляцией, получит машины, которые от попытки к попытке учатся учиться, а не просто накапливают опыт.