EmbodiedLab : testés sur des expériences de laboratoire, les robots échouent — le meilleur en réussit moins de la moitié

Des chercheurs de HexaFuture, parmi lesquels Hongcheng Gao, Bryan Hooi, Yinpeng Dong et Wentao Zhang, présentent EmbodiedLab. Ce benchmark s'adresse aux agents incarnés, qui doivent monter eux-mêmes une expérience et en tirer une connaissance. Le jeu de tests comprend 30 expériences quantitatives issues de cinq disciplines scientifiques, sur 14 dispositifs de laboratoire. Même le meilleur des six agents testés, en contrôle natif, résout moins de la moitié des tâches.

Découvrir, et non déplacer

La plupart des benchmarks de robotique évaluent la capacité à modifier le monde : saisir une tasse, ouvrir un tiroir, empiler des cubes. L'état cible y est connu à l'avance, et l'agent n'a plus qu'à l'atteindre. À l'inverse, les benchmarks de découverte scientifique évaluent la connaissance, mais y remplacent l'expérience physique par des actions symboliques ou des requêtes numériques. L'agent appelle une fonction et obtient un nombre, sans jamais manipuler un véritable instrument.

EmbodiedLab comble l'écart entre ces deux approches. L'agent reçoit un objectif et la description d'un dispositif. Il choisit lui-même la procédure, pilote le robot dans un simulateur physique de laboratoire et lit les valeurs des instruments via des caméras. Ici, modifier l'état physique est un moyen, pas une fin : l'agent agit sur le système, observe sa réponse et l'explore jusqu'à obtenir ce qu'il cherche, par exemple une loi physique.

Comment concevoir un examen honnête

Le principal problème d'un tel test tient à ce que la réponse ne doit pas figurer dans les données d'entraînement. Les auteurs le résolvent grâce à des expériences quantitatives : les paramètres du système sont rééchantillonnés pour chaque instance de tâche. Le résultat ne peut être ni retrouvé de mémoire ni deviné, mais il peut être évalué avec précision.

L'évaluation vérifie deux points :

• ce que l'agent a finalement découvert, sa réponse devant s'appuyer sur les mesures relevées au cours de l'épisode ; • si l'état physique exigé par la tâche a bien été atteint.

Chaque expérience a en outre été vérifiée pour sa résolubilité : un échec ne peut donc pas être imputé à une tâche défectueuse.

Six modèles, trois modes

Les auteurs ont fait tourner six modèles de pointe dans les agents de code de leurs propres développeurs. Chacun a été testé dans trois configurations :

• observation et contrôle natifs, sans surcouche ; • avec un module ajouté de perception et de planification des mouvements ; • avec des compétences de manipulation extraites des meilleurs agents.

En contrôle natif, même le meilleur agent réussit dans moins de la moitié des expériences. Pour les six agents, la plupart des échecs ne tiennent pas au raisonnement, mais à l'interaction elle-même avec le dispositif : il faut placer le manipulateur au bon endroit, manier correctement l'instrument, attendre que le système atteigne l'état voulu et relever la mesure. Un modèle peut comprendre quelle expérience monter et pourtant ne pas la mener à terme.

Une autre observation porte sur ce qui aide. Les compétences de manipulation issues des meilleurs agents apportent plus aux modèles faibles que l'ajout de perception et de planification des mouvements. Le goulot d'étranglement se situerait, selon toute apparence, dans la maîtrise de gestes opérationnels éprouvés, plutôt que dans une meilleure vision de la scène ou un meilleur calcul des trajectoires.

À qui s'adresse ce test

Pour les développeurs d'agents, EmbodiedLab fournit une métrique qui n'existait pas jusqu'ici : la capacité à boucler le cycle « hypothèse — action — observation — conclusion » dans un environnement physique. On attend cette capacité de l'automatisation de laboratoire et des assistants autonomes en science. Pour les équipes qui conçoivent ces systèmes, le résultat suggère une priorité : avant de renforcer les capacités de raisonnement, mieux vaut investir dans un pilotage fiable des instruments et dans des bibliothèques de compétences de manipulation.

Le benchmark et le code d'évaluation sont ouverts sur GitHub, dans le dépôt HexaFuture/EmbodiedLab. De nouveaux modèles et agents peuvent donc être testés sur les mêmes 30 expériences et comparés aux six systèmes de référence. L'article est publié sur arXiv sous le numéro 2610.35385. La limite reste évidente : tout se passe en simulation, et le transfert vers de vrais laboratoires nécessitera une validation distincte. Mais comme diagnostic des points précis où les agents incarnés échouent, le jeu de tests paraît utile.