Les humanoïdes brillent en démo mais échouent au test de généralisation : la solution passe par les données

En 2026, les robots humanoïdes paraissent toujours plus convaincants en vidéo que sur un site réel. The Robot Report explique cela par un échec au test de généralisation : une machine qui a travaillé sans faute dans une scène familière se perd dès que l'objet, l'éclairage ou la formulation de la tâche change. Le média voit la solution dans des données de meilleure qualité et dans le jugement humain. La publication d'origine est brève et ne cite aucun chiffre ; la mécanique du problème est donc détaillée ci-dessous à partir de données ouvertes de l'industrie.

Pourquoi la démo induit en erreur

Une démonstration se déroule en environnement fermé. L'éclairage est réglé, les objets sont connus, la trajectoire a été répétée de nombreuses fois, et parfois un téléopérateur se tient derrière le robot. La présentation d'Optimus lors de l'événement Tesla d'octobre 2024 l'illustre bien : selon les médias, une partie des robots était pilotée à distance. C'est une pratique normale pour collecter des données d'entraînement. Mais une vidéo avec téléopération ne peut pas servir de preuve d'autonomie.

Une politique de contrôle entraînée sur une distribution étroite de situations n'est statistiquement sûre d'elle qu'à l'intérieur de cette distribution. Dès qu'on en sort, la confiance ne diminue pas progressivement : elle s'effondre. Le robot saisit une tasse qu'il n'a jamais vue et la manque de deux centimètres. Cela suffit à faire échouer tout le scénario.

En quoi consiste le test de généralisation

La généralisation se vérifie selon plusieurs axes, et chacun met la démo en défaut à sa manière :

• nouveaux objets : forme, masse, matériau différents, reflets sur la surface ;
• nouvelle scène : autre cuisine, entrepôt ou rayonnage, éclairage et arrière-plan différents ;
• nouvelle formulation : la même tâche, énoncée avec d'autres mots ;
• nouveau corps : transfert d'une compétence entre robots dotés d'une cinématique et de préhenseurs différents ;
• horizon long : accumulation des erreurs sur une chaîne de dizaines d'étapes.

Le dernier point se calcule facilement. Si un robot réussit une étape dans 95% des cas, une chaîne de dix étapes s'achève sans incident dans environ 60% des cas (0,95 puissance dix). Avec vingt étapes, il reste environ 36%. Une vidéo d'un seul épisode ne dit donc rien de la fiabilité sur toute une journée de travail.

L'échelle des données en robotique reste sans commune mesure avec celle des modèles de langage. Le jeu de données ouvert Open X-Embodiment rassemble des données de 22 types de robots issus de 21 institutions, soit plus d'un million de trajectoires. C'est un record pour la robotique, mais les corpus internet des LLM sont plus grands de plusieurs ordres de grandeur. Et les données physiques coûtent plus cher : chaque épisode exige une vraie machine, un opérateur et du temps.

Données et jugement humain

La thèse de The Robot Report tient en ceci : augmenter simplement le volume ne résout pas le problème. Ce qui compte, c'est quelles données sont collectées et qui décide de ce qui constitue une réussite. Dans la pratique, cela se décline en plusieurs tâches.

Première tâche : la sélection des démonstrations. L'opérateur a pu exécuter la tâche de façon non optimale, avec des mouvements superflus ou grâce à un coup de chance. Ces épisodes dégradent l'entraînement, et c'est à un humain qui comprend l'objectif de les filtrer.

Deuxième tâche : l'annotation du succès et du succès partiel. Le « réussi ou raté » binaire masque ce qui a réellement mal tourné. Un humain distingue un objet lâché d'un objet posé sans soin, et pour la sécurité en production, ce sont deux classes d'erreurs différentes.

Troisième tâche : les corrections en conditions réelles. Quand le robot patine, l'opérateur intervient, et cette correction devient l'exemple d'entraînement le plus précieux, car elle montre le redressement précisément dans la situation où la politique est faible.

Comment lire la prochaine démo

Pour un ingénieur ou un investisseur, il en découle une série de questions à poser à toute présentation d'humanoïde :

• Le robot fonctionne-t-il de façon entièrement autonome, ou y a-t-il de la téléopération et des scripts ?
• Combien de lancements sont montrés à la suite, et combien se sont soldés par un échec ?
• Les objets et l'environnement ont-ils changé par rapport à l'entraînement ?
• Quelle est la longueur de la tâche en étapes, et quel est le taux de réussite à chacune ?
• Qui annote les données, et comment les démonstrations sont-elles sélectionnées ?

La bonne métrique de maturité n'est pas le nombre de vidéos impressionnantes, mais la part de lancements réussis dans un environnement nouveau, sans intervention humaine. Tant que les entreprises ne publient pas de tels chiffres, la démo reste du marketing, et non une mesure.