TARSphere met à l'épreuve des robots pilotés par MLLM sur 360 épisodes dans 30 scènes

L'équipe TARSphere a publié une pile logicielle complète pour évaluer des robots pilotés par des modèles de langage multimodaux, dans un monde où l'environnement évolue et où les humains changent d'avis. Au cœur du dispositif, le benchmark TARSphere-Bench : 360 épisodes dans 30 scènes internes, cinq conditions de test appariées et deux tâches de base, « va jusqu'à et rapporte » et « trouve et livre ». L'évaluation de huit MLLM dresse un tableau peu flatteur. Les modèles généralistes peuvent devancer les modèles embodied spécialisés, et les collisions et les chutes restent fréquentes, même quand tous les modèles disposent de la même interface d'actions et du même budget de décisions.

Un simulateur où les humains veulent aussi quelque chose

La plupart des systèmes existants pour agents incarnés évaluent l'exécution d'un objectif prédéfini. Ou bien ils simplifient la physique en actions symboliques, du type « prendre un objet » ou « aller dans une pièce ». Dans la réalité, un robot dans un appartement ou un bureau fait face à tout autre chose : une porte soudain fermée, une personne qui demande de modifier sa commande, une phrase qui ne suffit pas toujours à comprendre ce que l'on attend de lui.

La couche basse, TARSphere-Infra, exécute donc les politiques du robot dans un simulateur physique. À ses côtés évoluent des PNJ incarnés, c'est-à-dire des humains virtuels avec lesquels on peut dialoguer dans le cadre d'un échange limité. Le résultat est calculé par un automate à états finis événementiel (FSM). Il suit les actions achevées et les informations transmises, met à jour l'état des tâches et rend son verdict. L'automate réagit à ce qui s'est réellement produit dans la simulation, et non à ce que l'agent déclare sur ses propres réussites.

Un cerveau sur modèle gelé

Le second composant, TARSphere-Harness, joue le rôle d'« enveloppe cérébrale » du robot. La MLLM gelée n'est pas affinée pour la tâche. Elle agit via des compétences exécutables à plusieurs niveaux et s'appuie sur trois sources : les observations, une mémoire hiérarchique et le retour d'exécution. Ce dernier point compte : le modèle constate que son action n'a pas fonctionné et révise sa décision.

Cette approche se prête bien à la comparaison. Lorsque les huit modèles disposent du même ensemble de compétences et du même budget de décisions, l'écart de résultats tient au modèle lui-même, et non à la qualité de l'enveloppe. Le benchmark a été construit avec la participation d'un agent : la curation agent-in-the-loop met en cohérence le sens des tâches, les dépendances causales entre les étapes et la géométrie des scènes. Elle écarte ainsi les épisodes où un objet est physiquement inaccessible ou où la consigne contredit l'agencement de la pièce.

Où les robots échouent

Les cinq conditions appariées testent différentes facettes de la robustesse :

• robustesse de la perception ;
• adaptation aux perturbations et aux pannes ;
• mise à jour de la tâche en cours d'exécution ;
• coordination avec un humain ;
• compréhension des intentions.

Le principal enseignement de l'évaluation : les MLLM généralistes peuvent surpasser les modèles spécialisés pour les scénarios embodied. Cela remet en question l'hypothèse selon laquelle un affinage ciblé produit automatiquement un robot plus fiable. D'après les résultats, la large connaissance du monde et le raisonnement solide des modèles à usage général comptent parfois davantage que la spécialisation.

Les points faibles sont communs. La mise à jour de la tâche et l'interaction avec les humains restent difficiles pour tous. Un agent qui suit bien un plan se retrouve perdu quand il faut le réécrire à la volée ou préciser ce que veut son interlocuteur. Les auteurs relèvent par ailleurs des collisions et des chutes fréquentes. Livrer un objet avec succès a peu de valeur si le robot a renversé des meubles en chemin.

Ce qu'il faut changer dans l'évaluation des robots

Pour les équipes qui construisent des agents à base de MLLM, TARSphere propose plusieurs repères pratiques :

• Mesurer la sécurité d'exécution en plus du taux de tâches accomplies. Deux systèmes affichant le même success rate peuvent différer fortement par le nombre de collisions.
• Tester séparément les changements de tâche et le dialogue avec l'humain. C'est là, d'après les résultats du benchmark, que les modèles échouent le plus.
• Comparer les modèles avec une interface d'actions et un budget de décisions fixes. On voit alors ce qui revient au modèle et ce qui revient à l'enveloppe.
• Ne pas écarter les MLLM généralistes au profit des modèles embodied sans les avoir testées sur ses propres scénarios.

Une limite subsiste : tout cela se déroule en simulation, dans 30 scènes internes, et les PNJ ne parlent que dans le cadre d'un dialogue limité. Le passage au matériel réel ajoutera le bruit des capteurs, l'usure mécanique et l'imprévisibilité des humains. Mais comme cadre de travail pour comparer les « cerveaux » de robots avant leur entrée dans le monde physique, TARSphere paraît pratique. Il oblige à regarder non seulement si le robot a atteint son but, mais aussi ce qu'il a fait des personnes et des objets autour de lui en chemin.