EmbodiedLab : des robots testés sur des expériences, et le meilleur en réussit moins de la moitié

Des chercheurs de HexaFuture, parmi lesquels figurent Hongcheng Gao, Bryan Hooi, Yinpeng Dong et Wentao Zhang, présentent EmbodiedLab. Il s'agit d'un benchmark pour agents incarnés, qui doivent mener eux-mêmes une expérience et en tirer une connaissance. L'ensemble comprend 30 expériences quantitatives issues de cinq disciplines scientifiques, réalisées sur 14 installations de laboratoire. Même le meilleur des six agents testés résout moins de la moitié des tâches en contrôle natif.

Découvrir, pas déplacer

La plupart des benchmarks de robotique vérifient la capacité à modifier le monde : prendre une tasse, ouvrir un tiroir, empiler des cubes. L'état cible y est connu à l'avance, il ne reste à l'agent qu'à l'atteindre. Les benchmarks de découverte scientifique, à l'inverse, évaluent la connaissance, mais l'expérience physique y est remplacée par des actions symboliques ou des requêtes numériques. L'agent appelle une fonction et obtient un nombre, sans manipuler un véritable instrument.

EmbodiedLab comble l'écart entre ces deux approches. L'agent reçoit un objectif et une description de l'installation. Il choisit lui-même la procédure, contrôle un robot dans un simulateur physique de laboratoire et relève les mesures des instruments via des caméras. Le changement d'état physique est ici un moyen, pas une fin : l'agent fait évoluer le système, observe sa réponse et l'étudie jusqu'à obtenir ce qu'il recherche, par exemple une loi physique.

Comment construire un examen honnête

Le principal problème d'un tel test est que la réponse ne doit pas se trouver dans les données d'entraînement. Les auteurs ont résolu cela via des expériences quantitatives : les paramètres du système sont rééchantillonnés pour chaque instance de la tâche. Le résultat ne peut être ni retenu par cœur ni deviné, mais il peut être évalué avec précision.

L'évaluation vérifie deux choses :

• ce que l'agent a finalement découvert, la réponse devant s'appuyer sur des mesures effectivement enregistrées au cours de l'épisode ; • si l'état physique requis par la tâche a été atteint.

Chaque expérience a par ailleurs été vérifiée comme résoluble, de sorte qu'un échec ne puisse pas être attribué à une tâche défectueuse.

Six modèles, trois modes

Les auteurs ont fait tourner six modèles de pointe au sein d'agents codés par leurs propres développeurs. Chacun a été testé dans trois configurations :

• observation et contrôle natifs, sans surcouche ; • avec un module supplémentaire de perception et de planification de mouvements ; • avec des compétences de manipulation extraites des agents les plus performants.

En contrôle natif, même le meilleur agent réussit moins de la moitié des expériences. Pour les six agents, la majorité des échecs ne tient pas au raisonnement, mais à l'interaction avec l'installation elle-même : il faut positionner le bras manipulateur au bon endroit, manier correctement l'instrument, attendre que le système atteigne l'état voulu, puis relever la mesure. Le modèle peut comprendre quelle expérience mener et, malgré tout, échouer à la mener jusqu'au bout.

Une autre observation porte sur ce qui aide réellement. Les compétences de manipulation obtenues à partir des agents les plus performants apportent plus aux modèles faibles que l'ajout de perception et de planification de mouvements. Le point de blocage semble résider dans des gestes opérationnels maîtrisés, plutôt que dans une meilleure vision de la scène ou un meilleur calcul de trajectoires.

À qui s'adresse ce test

Pour les développeurs d'agents, EmbodiedLab fournit une métrique jusqu'ici inexistante : la capacité à boucler le cycle « hypothèse — action — observation — conclusion » dans un environnement physique. Cette capacité est attendue de l'automatisation de laboratoire et des assistants scientifiques autonomes. Pour les équipes qui construisent de tels systèmes, le résultat indique une priorité. Avant de renforcer les capacités de raisonnement, il vaut mieux investir dans un contrôle fiable des instruments et dans des bibliothèques de compétences de manipulation.

Le benchmark et le code d'évaluation sont ouverts sur GitHub, dans le dépôt HexaFuture/EmbodiedLab, si bien que de nouveaux modèles et agents peuvent être testés sur les mêmes 30 expériences et comparés aux six systèmes de référence. Les travaux ont été publiés sur arXiv sous le numéro 2610.35385. La limite reste évidente : tout se déroule en simulation, et le transfert vers des laboratoires réels nécessitera une vérification distincte. Mais comme outil de diagnostic pour repérer précisément où les agents incarnés échouent, cet ensemble semble utile.