Nvidia GR00T 2 enseigne la motricité fine aux robots par la vidéo : 95% de réussite avec cinq démonstrations

Le principal problème de la robotique, ce sont les données, pas le matériel. Pour apprendre à un bras robotisé à insérer un connecteur, à saisir une pièce fragile ou à déplacer délicatement de petits objets, un opérateur doit guider ses mouvements pendant des heures par téléopération. Chaque démonstration a un coût. Avec GR00T 2, Nvidia tente de contourner ce goulet d’étranglement en puisant dans une source de données déjà abondante : les vidéos montrant des humains au travail.

Ce que Nvidia a annoncé

GR00T 2 est un modèle ouvert destiné aux robots, conçu pour les aider à acquérir des compétences de manipulation fine. Une partie de son entraînement repose sur 100 000 heures de vidéos montrant des humains. Selon Nvidia, le modèle a atteint un taux de réussite moyen de 95% dans ses propres tests, avec seulement cinq démonstrations pour chaque tâche. Foxconn, Siemens et Nexuni le testent déjà.

Une réserve essentielle : ces chiffres proviennent de Nvidia et ont été obtenus sur son propre ensemble de tâches. L’annonce initiale ne présente aucune mesure indépendante, et la brève note ne permet pas de savoir précisément quelles tâches entrent dans cette « moyenne de 95% ». Ce chiffre doit être interprété comme une indication des capacités revendiquées, et non comme une garantie pour votre atelier.

Un exemple simple pour comprendre le fonctionnement

Imaginez que vous appreniez à un stagiaire à visser le couvercle d’un petit pot. Vous pouvez passer six mois à guider sa main pour lui faire répéter le même mouvement. Vous pouvez aussi commencer par lui montrer comment des milliers de personnes s’y prennent, puis lui expliquer en quelques démonstrations les particularités de votre pot. La première étape lui apporte une compréhension générale : comment la main s’approche de l’objet, comment la prise évolue, à quels moments il faut faire preuve de délicatesse. La seconde adapte cet apprentissage à la tâche précise.

GR00T 2 suit la même logique. Les vidéos montrant des humains constituent une source peu coûteuse de connaissances générales sur la manipulation des objets. Les cinq démonstrations par tâche servent ensuite à adapter ces connaissances à un robot et à une opération spécifiques. Si le système fonctionne comme annoncé, la mise en place d’une nouvelle opération ne nécessite plus des semaines de collecte de données, mais seulement quelques démonstrations, ce qui en réduit le coût.

Pourquoi cela compte en pratique

La présence de Foxconn et de Siemens parmi les entreprises qui testent le modèle indique la direction prise : l’intérêt vient de l’assemblage électronique et de l’automatisation industrielle, deux domaines où abondent les petites opérations répétitives, mais délicates. Jusqu’ici, ces activités se heurtaient notamment au coût trop élevé de la reprogrammation d’une ligne pour une nouvelle pièce.

Les implications varient selon les métiers :

• Pour les développeurs en robotique : un modèle ouvert peut être téléchargé, testé sur vos propres tâches et affiné, sans attendre un accès par API. Vérifiez les bras robotisés et les capteurs qu’il prend en charge.
• Pour les responsables produit : évaluez le coût de mise en place d’une nouvelle opération, plutôt qu’un taux de réussite abstrait. Si cinq démonstrations suffisent réellement, l’équation économique de la production en petites séries change.
• Pour les fondateurs : l’apprentissage à partir de vidéos montrant des humains abaisse la barrière à l’entrée en matière de données. Cela pourrait ouvrir un créneau pour des services qui collectent et annotent ces vidéos pour des secteurs précis.

Les limites

Premièrement, un taux de réussite de 95% en laboratoire et un taux de 95% sur une véritable ligne de production, avec de la poussière, des reflets et des variations entre les pièces, sont deux choses différentes. En production, ce n’est pas seulement la moyenne qui compte, mais aussi les échecs et leurs conséquences : une pièce cassée sur vingt peut annuler le bénéfice attendu.

Deuxièmement, les vidéos montrent des mains humaines, alors qu’un robot possède une cinématique et des préhenseurs différents. L’annonce ne précise pas comment le modèle transfère une compétence d’un corps à l’autre, alors que ce point est déterminant pour la qualité des résultats.

Troisièmement, Foxconn, Siemens et Nexuni en sont encore aux tests, pas au déploiement. Un usage industriel exige généralement encore un long parcours de vérification de la sécurité et de la fiabilité.

Que faire maintenant

Si vous travaillez dans la robotique, ajoutez GR00T 2 à votre liste de modèles à évaluer dans le cadre d’un pilote et définissez deux ou trois opérations de motricité fine propres à votre activité. Testez-les avec cinq démonstrations et examinez le taux de réussite réel ainsi que la nature des erreurs. Si les résultats se rapprochent des chiffres annoncés, ce sera un signal fort : l’apprentissage à partir de vidéos montrant des humains devient un outil opérationnel, au-delà de la belle démonstration de conférence.