HoloBoxing учит гуманоида боксировать за 7 минут на одной GPU

Команда HoloBoxing предложила простой рецепт обучения гуманоидного робота боксу: взять уже обученный контроллер всего тела, заморозить его и поверх натренировать небольшой планировщик, который решает, куда и как бить. Дополнительное обучение занимает около семи минут на одной GPU. Работа опубликована на arXiv под номером 2610.32909 и попала в Hugging Face Daily Papers.

Моторика отдельно, тактика отдельно

Любой, кто пытался обучать гуманоида через обучение с подкреплением, знает проблему: одна и та же политика должна одновременно удерживать равновесие, координировать десятки суставов и ещё побеждать в задаче. Награда за удар размазывается по всему этому клубку, обучение идёт долго и нестабильно.

HoloBoxing разрезает задачу по шву. Умение двигать телом живёт в замороженном предобученном контроллере, который отвечает за исполнение на уровне суставов. Всё, что относится к бою, берёт на себя компактная верхняя политика. Она не командует моторами напрямую, а предсказывает целевые точки тела: куда должны прийти кисти, корпус и другие части.

Между планировщиком и контроллером стоит ещё один слой. Обученное отображение превращает 32-мерное действие планировщика в структурированные окна целей, то есть в понятный контроллеру набор точек на коротком горизонте. Пространство действий остаётся маленьким, а контроллер получает то, на чём он уже умеет работать.

Старт с имитации, финиш с наградой

Плохая сторона чистого RL в том, что исследование начинается практически вслепую. Авторы решают это имитационной инициализацией: планировщик сперва получает начальное боксёрское поведение, и только потом обучение с подкреплением доводит взаимодействие с соперником. Награда шлифует то, что уже похоже на бой, а не ищет бой с нуля.

В итоге задача оптимизации сжимается до маленькой верхней политики. Полноразмерное управление телом заново не изучается ни на одном шаге.

Что входит в семь минут и что нет

Авторы аккуратно оговаривают границы цифры. Вот как она устроена:

• Замороженный контроллер всего тела: предобучен заранее, в бюджет не входит.
• Компактный планировщик: предсказывает целевые точки тела для боксёрской задачи.
• Действие планировщика: 32 измерения.
• Обученное отображение: переводит 32-мерные действия в структурированные окна целей.
• Имитационная инициализация: даёт стартовое поведение до начала RL.
• Обучение с подкреплением: уточняет поведение в бою, переиспользуя представление и контроллер.
• Бюджет: около семи минут, включая подгонку переиспользуемого представления и один прогон задачи на одной GPU.
• Не учтено: предобучение контроллера, подготовка данных, оценка и перебор гиперпараметров.

Последний пункт важен. Семь минут описывают именно цену новой задачи при готовой базе, а не стоимость всего пайплайна с нуля. Это честная метрика для сценария, в котором контроллер уже есть и его надо лишь научить новому занятию.

Проверка проводилась в симуляции: авторы запускали боксёрские эксперименты и контрольные прогоны по компонентам, чтобы понять роль имитационной инициализации и остальных частей рецепта. Реального робота на ринге в работе нет, и перенос из симулятора в железо остаётся отдельным вопросом.

Где это пригодится

Главная ценность работы в архитектурном приёме. Если у команды есть хороший универсальный контроллер тела, то каждая новая задача, будь то бокс, борьба или командные взаимодействия, превращается в короткий эксперимент на одной видеокарте. Это сдвигает центр тяжести: дорогая часть делается один раз, дешёвая итерируется десятки раз за день.

Для лабораторий без кластеров это ещё и вопрос доступности. Обучать надстройку на одной GPU могут многие, а предобучать контроллер с нуля нет. Разделение труда между теми, кто строит базовые контроллеры, и теми, кто пишет поверх них задачи, выглядит как естественная экосистема для гуманоидной робототехники.

Практический вывод для инженеров такой: перед тем как наращивать сложность end-to-end политики, стоит проверить, нельзя ли заморозить низкий уровень и оптимизировать только компактный верхний. Если стартовое поведение можно получить имитацией, RL на втором этапе нужен лишь для тонкой настройки, и время обучения измеряется минутами.