Les robots ne pourront plus bluffer : pourquoi le « taux de réussite » ne suffit plus

Imaginez que vous engagiez un chauffeur qui vous dit : « J'arrive à destination dans 90 % des cas. » En robotique, cela a longtemps passé pour un excellent résultat. Nous avons pris l'habitude de mesurer le progrès au taux de réussite, sans regarder comment cette réussite était obtenue. Un robot pouvait enchaîner des mouvements maladroits et énergivores, manquer d'abîmer son manipulateur, puis toucher le bon bouton. Et voilà : le fameux 1 s'inscrit dans le rapport.

Des chercheurs chinois ont décidé qu'il était temps d'en finir avec cette simulation d'activité intense et ont présenté un nouveau paradigme d'évaluation de l'intelligence incarnée. Ce n'est pas un simple ravalement des métriques, mais un changement fondamental dans notre façon de comprendre les machines « intelligentes ».

Le défaut de l'ancienne approche tenait à son caractère binaire : victoire ou défaite. Or dans le monde réel, hors des laboratoires immaculés, le prix de cette victoire compte. La nouvelle méthodologie d'évaluation (jùshēn cāozuò), celle de la manipulation incarnée, introduit une échelle multidimensionnelle. Elle prend désormais en compte non seulement le résultat final, mais aussi la trajectoire du mouvement, le temps écoulé et, surtout, la résistance aux perturbations extérieures. Si l'on pousse légèrement le robot ou si l'on modifie l'éclairage, et que son « taux de réussite » chute de 90 % à zéro, il n'y avait aucune intelligence. Il n'y avait qu'un programme rigide, optimisé pour une vidéo précise destinée aux investisseurs.

Pourquoi maintenant ? Nous sommes au seuil d'une arrivée massive des humanoïdes et des manipulateurs dans des environnements non structurés : nos maisons et nos bureaux. Les conditions n'y sont pas idéales. Il y a des enfants, des animaux domestiques et un désordre en perpétuel mouvement. L'ancienne métrique (chénggōng lǜ) est inutile dès qu'il s'agit de sécurité et de prévisibilité. Le nouveau paradigme oblige les développeurs à se concentrer sur la généralisation (generalization) plutôt que sur l'apprentissage par cœur de scénarios précis. C'est un filtre sévère, qui séparera vite les startups vendant de jolis rendus des entreprises qui bâtissent de la vraie technologie.

L'adoption de métriques complexes change aussi les règles de l'entraînement des modèles. Quand le réseau de neurones est récompensé non pas simplement pour « avoir atteint l'objectif », mais pour l'avoir atteint « de façon efficace et sûre », son comportement évolue. Il ressemble davantage à un être vivant qui économise ses forces et évite les risques inutiles. C'est ce que nous appelons une véritable intelligence incarnée.

Les chercheurs soulignent qu'en abandonnant la dictature d'un indicateur unique, l'industrie pourra enfin comparer objectivement les différentes approches. Auparavant, chaque laboratoire vantait ses propres chiffres, impossibles à confronter. Une règle commune apparaît désormais, et elle est plutôt sévère.

Pour le marché, cela signifie un ralentissement temporaire des succès « sur le papier », mais une accélération nette du progrès réel. Nous verrons moins de gros titres fracassants sur des « robots qui font tout » et davantage de graphiques ennuyeux mais importants sur la robustesse et la qualité du contrôle. C'est le passage à l'âge adulte du secteur. On ne peut plus enregistrer la centième prise, où le robot a réussi la tâche par hasard, et la présenter comme une percée. Le système doit maintenant prouver son efficacité en dynamique, sous charge et en situation d'incertitude.

L'essentiel : L'ère des vidéos marketing sans coupes de montage touche à sa fin. Les robots devront désormais prouver leur aptitude professionnelle avec des chiffres que la simple chance ne permet pas de falsifier. Les leaders actuels du marché sont-ils prêts pour ce niveau de transparence ?