Nvidia GR00T 2 apprend aux robots à partir de vidéos d'humains : sur 50 tâches, le taux de réussite passe de 40 à 95 %

Imaginez que vous deviez apprendre à un bras robotisé à couper une banane. La méthode standard aujourd'hui : un opérateur guide le manipulateur à la main pendant des heures, tandis que le système enregistre chaque mouvement. C'est la téléopération. Elle est coûteuse, lente et liée à un modèle de robot précis : si vous changez de matériel, il faut recollecter les données. Dans son rapport sur GR00T 2, Nvidia cherche à supprimer l'opérateur humain de ce schéma, ou du moins à réduire fortement son rôle.

Un modèle qui dessine son propre futur

La version précédente, GR00T 1, appartenait à la classe VLA (vision-language-action). En entrée, elle recevait l'image d'une caméra et une commande textuelle ; en sortie, elle produisait des signaux moteurs. GR00T 2 est conçu différemment. Nvidia le qualifie de world-action model, ou WAM. Il calcule simultanément le prochain mouvement et génère, par diffusion, une courte vidéo du futur proche. Si la main saisit un objet, le modèle « dessine » à l'avance comment l'image va changer.

Cette prévision vidéo sert de pont entre l'humain et le robot. Le modèle a été entraîné sur un cluster de plus de mille puces GB300, notamment sur environ 400 000 heures de vidéos où des personnes accomplissent diverses activités avec une caméra sur la tête. Pour enseigner quelque chose de nouveau au robot, il suffit à la personne de montrer les étapes avec un gant sensoriel, une pince manuelle spéciale ou un exosquelette de doigts. Lors de l'entraînement, ces enregistrements sont mélangés à des données générales sur les mouvements du robot cible. Ensuite, dans sa prévision vidéo, le modèle dessine une main robotisée à la place de la main humaine et en déduit les commandes de contrôle appropriées.

En termes simples : il a regardé comment fait l'humain, s'est mentalement mis à sa place et a calculé quels moteurs actionner.

Ce que montrent les tests

Un robot doté de mains à cinq doigts a allumé une allumette, coupé une banane et jeté des colis sur un convoyeur. Il n'y a eu aucune téléopération spécifique pour ces tâches. Mais le taux de réussite oscillait de 10 à 80 % selon la tâche, et 10 %, c'est encore une démonstration, pas un produit. Le système a appris à planter des clous à partir d'une seule vidéo avec une main humaine, et ce via une simulation informatique.

Le chiffre le plus marquant concerne le réentraînement. Sur 50 tâches sélectionnées, pour lesquelles le modèle se débrouillait déjà bien après quelques exemples, moins de trois minutes d'entraînement classique ont fait passer le taux de réussite de 40 à 95 %. Une réserve importante : les tâches ont été choisies parmi celles qui se passaient déjà bien, ce chiffre ne peut donc pas être extrapolé à n'importe quel travail.

Pour les longues opérations d'assemblage, Nvidia place au-dessus de GR00T 2 un modèle de langage, par exemple GPT-6 Astra d'OpenAI. GR00T s'occupe de la préhension et des mouvements. Le modèle de langage découpe la tâche en étapes, colorie les points de saisie sur l'image et lance des procédures auxiliaires si une pièce tombe. Les pièces des maquettes jouets étaient posées en vrac sur la table, et l'ensemble les a assemblées dans au moins 97 % des essais. Sans le modèle de langage correcteur et sans réentraînement, l'assemblage d'une petite voiture jouet n'a réussi que 23 fois sur 100.

Pour les robots bipèdes, il existe une version allégée, GR00T 2 Turbo, qui traite moins de détails de l'image. Elle fonctionne directement sur l'ordinateur de bord Jetson Thor du humanoïde. Ce robot a pris du pop-corn à la louche, nettoyé des tables et essuyé un liquide avec une serviette sous le pied. Cette dernière tâche a réussi dans un peu moins de la moitié des essais.

Là où cela ne fonctionne toujours pas

Les auteurs énumèrent eux-mêmes les obstacles à un fonctionnement fiable dans le monde réel. Le modèle ne traite pas encore les données directes des capteurs tactiles et laisse parfois passer des erreurs subtiles, comme une vis pas complètement serrée. Le planificateur à base de modèle de langage ralentit fortement le système. Lors du tri des déchets, le robot est resté inactif environ un tiers du temps : il attendait en moyenne plus de sept secondes le calcul suivant du planificateur.

Ce que cela implique pour les praticiens

Le principal changement ne tient pas aux records, mais à l'économie des données. Si des vidéos d'humains et des gants bon marché remplacent une partie de la téléopération, le principal poste de dépense en robotique cesse d'être lié à un matériel précis. Pour les fondateurs, c'est une raison de recalculer autrement le coût de collecte des démonstrations.

Pour les développeurs, une raison d'examiner le schéma « modèle d'action plus planificateur LLM séparé » et d'intégrer d'emblée la latence du planificateur dans le budget de vitesse. Quant aux product managers, ils doivent garder en tête que les chiffres de 10 à 80 % et de 23 % sans planificateur sont des résultats de laboratoire. On est encore loin de scénarios fiables en usine ou en entrepôt, en particulier là où il faut ressentir la force et le toucher.