Le meilleur agent de codage pilote un robot dans 77% des tâches, mais seulement 30% avec les seuls capteurs
Les agents de codage comme Codex écrivent du code avec assurance quand on peut inspecter n'importe quelle variable et relancer le programme. Avec un robot, on ne peut pas remonter le temps pour récupérer une pièce tombée. Le benchmark Embodied First Exam (EFE) leur a soumis 1156 tâches sur 47 robots simulés. Le meilleur agent, GPT-6 Astra dans Codex CLI, a résolu 77% des tâches difficiles avec un accès à l'état du simulateur et des réinitialisations illimitées. Il n'en résout que 30% avec les seuls capteurs et un nombre limité de réinitialisations. Conclusion : il faut une couche d'exécution capable de gérer une récupération sûre après un échec. Les agents ont envoyé des actions directement au robot, écrit des contrôleurs ou entraîné des politiques de contrôle. Les phases de contact précis sont les plus difficiles, car elles exigent plusieurs essais.
Traité par IA depuis TG: @gonzo_ML (gonzo-обзоры ML статей) ; édité par Hamidun News
Les agents de codage comme Codex ou Claude Code écrivent et corrigent des programmes avec assurance. Il est naturel de vouloir leur confier le pilotage d'un robot physique. Mais dans un programme, le développeur peut inspecter n'importe quelle variable et, en cas de problème, simplement relancer le processus.
Avec un robot, une pièce tombée ne se remet pas en place, et l'agent ne voit que ce que lui montrent ses propres capteurs. Le nouveau benchmark Embodied First Exam (EFE) a mesuré le coût de cet écart. Le meilleur agent testé, GPT-6 Astra dans le CLI Codex d'OpenAI, résout 77% des tâches difficiles lorsqu'il dispose de l'état complet du simulateur et de réinitialisations illimitées.
Il n'en résout que 30% lorsqu'il ne lui reste que les capteurs embarqués et un nombre limité de réinitialisations. La chute est de 47 points de pourcentage.
Ce qui a été testé
EFE est un benchmark conteneurisé de 1156 tâches sur 47 robots simulés. Les agents sont utilisés tels quels, sans adaptation spécifique à la robotique. Ils disposent de trois voies : envoyer directement des commandes au robot, écrire un contrôleur pour lui, ou entraîner une politique de contrôle. Les mêmes tâches difficiles ont été comparées dans deux modes : le « mode développeur » et le « mode robot réel ».
Une large équipe dirigée par Manling Li a mené ces travaux. Parmi les coauteurs figurent Fei-Fei Li, Pieter Abbeel, Eric Xing et Dawn Song. Le code du benchmark est publié sur GitHub : chacun peut donc y faire tourner son propre agent.
Où l'agent décroche
Imaginez que vous branchiez une fiche dans une prise. En mode développeur, vous disposez d'une caméra placée au-dessus, des coordonnées exactes de tous les objets et d'un bouton « annuler » sans limite. En mode robot réel, vous ne voyez que ce que voit la main elle-même, et les tentatives sont rares, car après un échec, quelque chose a pu tomber ou bouger. C'est précisément ce qui distingue les deux modes dans EFE.
Dans le premier mode, GPT-6 Astra vient à bout de 77% des tâches difficiles appariées. Dans le second, de 30%. Les auteurs attribuent cet écart en premier lieu aux étapes qui exigent un contact précis : pour trouver la bonne force et la bonne position, il faut plusieurs essais et erreurs. Quand les tentatives sont rares et l'erreur irréversible, l'agent ne peut pas appliquer sa routine habituelle « écrire, exécuter, corriger », comme il le fait avec du code.
L'idée centrale : en programmation, des privilèges habituels (une vue complète de l'état et des redémarrages peu coûteux) sont implicitement intégrés à la façon dont les agents travaillent. Le monde physique les supprime.
Que faire en pratique
L'auteur d'une analyse publiée sur le canal gonzo_ML range les harnais (couches d'exécution) pour robots physiques parmi les prochains grands sujets. La leçon d'EFE va bien dans ce sens : un seul modèle performant ne suffit pas. Il faut une couche qui décide quelles actions sont sûres, vérifie le résultat grâce aux capteurs et remet le système en état de marche après un échec.
Pour les équipes qui construisent des robots à partir d'agents LLM, on peut en tirer quelques règles simples :
- n'évaluez pas l'agent uniquement en simulation avec l'état complet : une telle métrique surestime fortement les chances réelles (77% contre 30% dans EFE) ;
- prévoyez une récupération sûre et un retour arrière, au lieu de compter sur un redémarrage ;
- testez séparément les étapes de contact précis : c'est là que le taux de réussite chute le plus ;
- considérez le nombre de tentatives disponibles comme une condition de la tâche : moins il y a de réinitialisations, plus le résultat baisse.
Limites
Les auteurs le précisent : toutes les évaluations du benchmark reposent sur des tentatives uniques et uniquement en simulation. La variabilité entre les exécutions reste inconnue, et le passage à de vrais bras manipulateurs ajoutera ses propres difficultés : frottements, bruit des capteurs, usure des pièces. Les 30% ne constituent donc pas une prévision pour un robot réel. Ils indiquent à quel point le mode « capteurs seuls et réinitialisations limitées » pénalise un agent qui excelle en mode développeur.
La leçon pratique pour les product managers et les fondateurs : si vous promettez un « agent qui pilote du matériel », testez-le dans des conditions aussi proches que possible de celles du terrain. L'écart de 47 points de pourcentage entre une simulation confortable et des capteurs réalistes est la zone où se joue aujourd'hui le sort d'un tel produit.
- 18 nov. 2026AWS montre comment ouvrir les API privées aux agents Bedrock via un pare-feu central
- 18 nov. 2026ffmpeg-skill donne à Claude Code et Cursor 42 outils locaux de montage vidéo
- 18 nov. 2026Jensen Huang quitte son poste de CEO de NVIDIA, l'entreprise perd plus de 1 000 milliards de dollars de capitalisation
- 18 nov. 2026Les agents vocaux d'ElevenLabs joignent les patients en 3,5 minutes au lieu de 2 heures
Questions clés sur cet article
Que sait-on sur Ce qui a été testé ?
EFE est un benchmark conteneurisé de 1156 tâches sur 47 robots simulés. Les agents sont utilisés tels quels, sans adaptation spécifique à la robotique. Ils disposent de trois voies : envoyer directement des commandes au robot, écrire un contrôleur pour lui, ou entraîner une politique de contrôle. Les mêmes tâches difficiles ont été comparées dans deux modes : le « mode développeur » et le « mode robot réel ». Une large équipe dirigée par Manling Li a mené ces travaux.
Que sait-on sur Où l'agent décroche ?
Imaginez que vous branchiez une fiche dans une prise. En mode développeur, vous disposez d'une caméra placée au-dessus, des coordonnées exactes de tous les objets et d'un bouton « annuler » sans limite. En mode robot réel, vous ne voyez que ce que voit la main elle-même, et les tentatives sont rares, car après un échec, quelque chose a pu tomber ou bouger. C'est précisément ce qui distingue les deux modes dans EFE. Dans le premier mode, GPT-6 Astra vient à bout de 77% des tâches difficiles appariées.
Que sait-on sur Que faire en pratique ?
L'auteur d'une analyse publiée sur le canal gonzo_ML range les harnais (couches d'exécution) pour robots physiques parmi les prochains grands sujets. La leçon d'EFE va bien dans ce sens : un seul modèle performant ne suffit pas. Il faut une couche qui décide quelles actions sont sûres, vérifie le résultat grâce aux capteurs et remet le système en état de marche après un échec.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.