RoboCasa-Shift : un benchmark révèle où les robots VLA échouent en cuisine

Un même recul du taux de réussite moyen peut cacher des pannes de robot très différentes. C'est la conclusion de l'équipe de RoboCasa-Shift, un benchmark de diagnostic pour les politiques VLA (vision-language-action) construit sur le simulateur RoboCasa365. Les auteurs y ont soumis GR00T N1.5 sur quatre longues tâches de cuisine, quatre facteurs de perturbation et trois niveaux de sévérité calibrés. Résultat : 1 040 exécutions comptabilisées, y compris des conditions dans lesquelles la politique échouait totalement à la tâche.

Un exemple montre l'intérêt de la démarche. Un décalage de caméra de niveau L2 et un flou gaussien de niveau L1 entraînent la même baisse de réussite, ΔSR=0,188. Sur la métrique agrégée, ce sont des jumeaux. Mais l'analyse par étapes montre qu'à la première étape de la tâche, la politique échoue dans 19,0% des cas avec le décalage de caméra, contre 36,4% avec le flou. Le chiffre final est identique, les trajectoires d'échec ne le sont pas.

Des exécutions appariées plutôt qu'une comparaison de moyennes

D'ordinaire, on évalue la robustesse d'un VLA ainsi : on prend une exécution propre, une exécution perturbée, et on compare le taux de réussite moyen. Problème : les deux ensembles d'épisodes diffèrent non seulement par le décalage étudié, mais aussi par leurs conditions initiales aléatoires. RoboCasa-Shift est plus rigoureux. Chaque paire d'exécutions partage les mêmes réglages de base de la scène et ne diffère que par la perturbation étudiée. Les décalages sont en outre unitaires : un seul facteur change à la fois, il n'y a donc pas à deviner la cause de la dégradation.

Cette conception met au jour un effet invisible en moyenne. L'une des conditions de caméra a donné ΔSR=0, c'est-à-dire que, formellement, rien n'a changé. Pourtant, dans 8 des 80 épisodes appariés, le résultat s'est inversé. Le robot s'est mis à échouer sur certaines tâches qu'il réussissait auparavant, et en a réussi d'autres, de façon inattendue. La moyenne a simplement additionné les gains et les pertes. Pour un déploiement, un tel delta nul est dangereux : il donne une impression de robustesse là où le comportement de la politique est en réalité instable.

La profondeur de l'échec comme métrique à part entière

Le troisième élément du benchmark est un diagnostic par étapes, ancré dans l'état du simulateur. Une longue tâche domestique se compose d'étapes successives, et les auteurs observent jusqu'à laquelle la politique parvient. On obtient ainsi un profil de profondeur d'exécution : le robot peut trébucher dès la saisie, ou aller presque au bout et laisser échapper le résultat à la dernière étape. Pour un ingénieur, ce sont des bugs fondamentalement différents, qui appellent des remèdes différents. Le premier pointe souvent des problèmes de perception, le second une accumulation d'erreurs au fil de la tâche.

Autre observation : l'augmentation de la sévérité de la perturbation n'entraîne pas toujours une dégradation monotone. Un décalage plus fort peut se révéler moins gênant pour la politique qu'un décalage plus faible. Il s'ensuit qu'une seule courbe « intensité de la perturbation — qualité » ne suffit pas pour évaluer un VLA.

Paramètres de l'étude

• Benchmark : RoboCasa-Shift, basé sur RoboCasa365
• Politique évaluée : GR00T N1.5
• Tâches : quatre longs scénarios domestiques ayant franchi un seuil de qualité prédéfini en conditions propres
• Facteurs de perturbation : quatre, chacun à trois niveaux de sévérité calibrés
• Volume : 1 040 exécutions comptabilisées
• Métriques : baisse de réussite (ΔSR), sensibilité des résultats dans les épisodes appariés, part des échecs à chaque étape
• Code : ouvert sur GitHub, dépôt HaochengWang23/RoboCasa-Shift

Comment faire évoluer les tests de robots

Pour les équipes qui affinent ou déploient des VLA, la conclusion est pratique. Un seul pourcentage de réussite en sortie ne suffit pas : il faut au moins trois niveaux de reporting — la dégradation globale, le nombre d'épisodes dont le résultat a changé malgré un delta moyen nul, et la répartition des échecs par étape de la tâche. Le premier répond à la question « à quel point c'est mauvais », le deuxième « à quel point c'est instable », le troisième « où corriger ».

La condition de sélection des tâches compte aussi. Les auteurs n'admettent dans l'analyse que les tâches que la politique résout avec assurance sans perturbation. Sans cela, impossible de distinguer la fragilité du modèle de son incapacité à réussir même dans un environnement propre. Cette pratique mérite d'être reprise aussi pour comparer différents modèles.

Les limites sont également claires : une seule politique et quatre tâches ont été évaluées, qui plus est en simulation. Reste à savoir comment ces profils d'échec se transposent à de vraies cuisines et à d'autres VLA ; ce sont de futurs travaux qui le diront. Mais la communauté dispose désormais d'un outil ouvert qui permet de poser ces questions dans des conditions identiques. Pour la robotique, où une erreur se paie en vaisselle cassée ou en ligne de production arrêtée, c'est un pas important des classements vers le diagnostic.