HoloBoxing apprend à un humanoïde à boxer en 7 minutes sur un seul GPU

L'équipe de HoloBoxing propose une recette simple pour entraîner un robot humanoïde à la boxe : prendre un contrôleur de corps entier déjà entraîné, le geler, puis entraîner par-dessus un petit planificateur qui décide où et comment frapper. L'entraînement supplémentaire dure environ sept minutes sur un seul GPU. Les travaux sont publiés sur arXiv sous le numéro 2610.32909 et figurent dans les Daily Papers de Hugging Face.

La motricité d'un côté, la tactique de l'autre

Quiconque a essayé d'entraîner un humanoïde par apprentissage par renforcement connaît le problème : une même politique doit à la fois tenir l'équilibre, coordonner des dizaines d'articulations et, en plus, remporter la tâche. La récompense d'un coup se dilue dans tout cet enchevêtrement, et l'entraînement devient long et instable.

HoloBoxing découpe la tâche à la couture. Le savoir-faire moteur réside dans un contrôleur pré-entraîné et gelé, chargé de l'exécution au niveau des articulations. Tout ce qui relève du combat revient à une politique supérieure compacte. Elle ne commande pas directement les moteurs : elle prédit des points cibles pour le corps, c'est-à-dire l'endroit où doivent arriver les mains, le tronc et les autres parties.

Une couche supplémentaire s'intercale entre le planificateur et le contrôleur. Une projection entraînée convertit l'action à 32 dimensions du planificateur en fenêtres de cibles structurées, soit un ensemble de points sur un horizon court que le contrôleur sait interpréter. L'espace d'actions reste petit, et le contrôleur reçoit ce qu'il sait déjà exploiter.

Départ par imitation, finition par la récompense

Le défaut du RL pur est que l'exploration démarre quasiment à l'aveugle. Les auteurs y répondent par une initialisation par imitation : le planificateur acquiert d'abord un comportement de boxe de base, puis l'apprentissage par renforcement affine l'interaction avec l'adversaire. La récompense polit ce qui ressemble déjà à un combat, au lieu de chercher le combat à partir de rien.

Le problème d'optimisation se réduit ainsi à une petite politique supérieure. Le contrôle complet du corps n'est réappris à aucun moment.

Ce que comprennent les sept minutes, et ce qu'elles excluent

Les auteurs délimitent soigneusement la portée de ce chiffre. Voici comment il se décompose :

• Contrôleur de corps entier gelé : pré-entraîné en amont, hors budget.
• Planificateur compact : prédit les points cibles du corps pour la tâche de boxe.
• Action du planificateur : 32 dimensions.
• Projection entraînée : convertit les actions à 32 dimensions en fenêtres de cibles structurées.
• Initialisation par imitation : fournit le comportement de départ avant le RL.
• Apprentissage par renforcement : affine le comportement au combat en réutilisant la représentation et le contrôleur.
• Budget : environ sept minutes, ajustement de la représentation réutilisable et une exécution de la tâche sur un seul GPU inclus.
• Non comptabilisés : pré-entraînement du contrôleur, préparation des données, évaluation et recherche d'hyperparamètres.

Le dernier point compte. Les sept minutes correspondent au coût d'une nouvelle tâche lorsque la base est prête, et non au coût de l'ensemble du pipeline construit de zéro. C'est une métrique honnête pour un scénario où le contrôleur existe déjà et où il suffit de lui apprendre une nouvelle activité.

La validation a eu lieu en simulation : les auteurs ont mené des expériences de boxe et des tests par composant pour mesurer le rôle de l'initialisation par imitation et des autres éléments de la recette. L'article ne présente aucun robot réel sur un ring, et le transfert du simulateur vers le matériel reste une question à part.

À quoi cela peut servir

La principale valeur de ces travaux tient à l'astuce d'architecture. Si une équipe dispose d'un bon contrôleur de corps généraliste, chaque nouvelle tâche, que ce soit la boxe, la lutte ou les interactions d'équipe, devient une courte expérience sur un seul GPU. Cela déplace le centre de gravité : la partie coûteuse se fait une seule fois, la partie économique s'itère des dizaines de fois par jour.

Pour les laboratoires sans cluster, c'est aussi une question d'accessibilité. Beaucoup peuvent entraîner une surcouche sur un seul GPU, mais peu peuvent pré-entraîner un contrôleur de zéro. Cette répartition du travail entre ceux qui construisent les contrôleurs de base et ceux qui écrivent les tâches par-dessus ressemble à un écosystème naturel pour la robotique humanoïde.

La leçon pratique pour les ingénieurs : avant d'accroître la complexité d'une politique de bout en bout, il vaut la peine de vérifier s'il est possible de geler le bas niveau et de n'optimiser qu'une politique supérieure compacte. Si l'imitation permet d'obtenir le comportement de départ, le RL de la seconde étape ne sert plus qu'au réglage fin, et le temps d'entraînement se compte en minutes.