RoboValue teste les évaluateurs d'actions de robots sur 35 tâches et met au jour leurs angles morts

Des chercheurs ont publié RoboValue, un benchmark qui permet d'évaluer de façon unifiée les modèles de valeur (value models) en robotique. Ces systèmes examinent les images de l'exécution d'une tâche, lisent l'instruction et rendent une estimation : le robot est-il proche de l'objectif, et va-t-il dans la bonne direction ? Le jeu de données couvre 15 tâches de manipulation en simulation et 20 tâches réelles. Le résultat principal est peu réjouissant pour les développeurs : des modèles qui affichent de bons scores sur l'issue de la tâche et sur la progression « vers l'avant » commettent malgré tout des erreurs systématiques sur les points délicats.

Pourquoi tester l'évaluateur, et pas seulement le robot

Un modèle de valeur remplit deux fonctions. D'abord, il fournit un retour pendant l'entraînement des politiques : son signal indique au robot quelles actions ont été utiles. Ensuite, il suit l'exécution en temps réel et peut signaler que la tâche dérape. Si l'évaluateur se trompe, la politique apprend à partir d'un signal faussé, et la supervision laisse passer des échecs ou déclenche de fausses alertes.

Selon les auteurs, les tests existants ne couvrent que certains aspects de la compréhension de l'exécution. La fiabilité du retour de value dans son ensemble reste insuffisamment vérifiée. RoboValue comble cette lacune avec un ensemble unique d'interfaces, à travers lesquelles on peut faire passer différents modèles.

Quatre axes et composition du jeu de données

Le framework évalue quatre capacités complémentaires :

• compréhension de l'état de la tâche : ce qui est déjà fait et ce qui reste à faire ;
• suivi de la progression temporelle : l'estimation augmente-t-elle à mesure que la tâche avance ;
• raisonnement sur les échecs et la reprise : le modèle remarque-t-il une erreur et reconnaît-il une correction ;
• cohérence de la value : les estimations concordent-elles entre elles et avec les exigences de la tâche.

Le dispositif repose sur des trajectoires de diagnostic et des variations d'instructions. Elles vérifient si l'estimation reflète bien les exigences de la tâche et si elle évolue avec le déroulement de l'exécution. Le RoboValue-Dataset contient des démonstrations d'experts pour l'entraînement et des trajectoires annotées pour l'analyse détaillée. Les modèles ont été testés en zero-shot et en one-shot, dans des conditions standard puis, séparément, avec un changement d'embodiment (type de robot) et d'environnement.

Où les modèles de valeur se trompent

Les auteurs distinguent trois familles de problèmes. La première : l'ancrage fin de l'instruction dans la scène observée. Quand la formulation change dans les détails, l'estimation ne suit pas toujours le sens. La deuxième : le suivi d'une progression qui dépend de l'historique. Un modèle qui doit se souvenir de ce qui s'est déjà passé s'égare là où une seule image ne suffit pas. La troisième : l'évaluation de la reprise après un échec. C'est là que les modèles sont les moins bons, alors qu'ils paraissent solides sur les métriques d'issue et de progression vers l'avant.

Une observation distincte concerne l'ordre des actions. Une même sous-tâche sémantique reçoit un gain de value sensiblement différent selon l'ordre, parmi les ordres admissibles, dans lequel le robot exécute les étapes. Pour une tâche où plusieurs séquences sont également valides, cela produit un signal bruité et biaisé.

Que doivent faire les équipes qui entraînent des robots

La conclusion pratique : un seul indicateur de réussite sur l'issue finale ne suffit pas pour faire confiance à un modèle de valeur comme source de récompense. Avant d'utiliser un tel modèle en RL ou en supervision, mieux vaut lui faire passer des tests sur les changements de formulation, sur les trajectoires comportant des échecs puis des corrections, et sur les ordres d'étapes alternatifs.

Les auteurs présentent les erreurs identifiées comme des cibles concrètes pour la supervision de la value. Les données d'entraînement doivent inclure des tentatives avec reprise et différentes séquences admissibles, et pas seulement des démonstrations réussies et propres. Le classement public et le site du projet, robovalue-benchmark.github.io, permettent de comparer ses propres modèles aux autres et de vérifier si ces points faibles se résorbent.