Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →

Le meilleur agent de codage pilote un robot dans 77% des tâches, mais seulement 30% avec les seuls capteurs

Les agents de codage comme Codex écrivent du code avec assurance quand on peut inspecter n'importe quelle variable et relancer le programme. Avec un robot, on ne peut pas remonter le temps pour récupérer une pièce tombée. Le benchmark Embodied First Exam (EFE) leur a soumis 1156 tâches sur 47 robots simulés. Le meilleur agent, GPT-6 Astra dans Codex CLI, a résolu 77% des tâches difficiles avec un accès à l'état du simulateur et des réinitialisations illimitées. Il n'en résout que 30% avec les seuls capteurs et un nombre limité de réinitialisations. Conclusion : il faut une couche d'exécution capable de gérer une récupération sûre après un échec. Les agents ont envoyé des actions directement au robot, écrit des contrôleurs ou entraîné des politiques de contrôle. Les phases de contact précis sont les plus difficiles, car elles exigent plusieurs essais.

Traité par IA depuis TG: @gonzo_ML (gonzo-обзоры ML статей) ; édité par Hamidun News
Le meilleur agent de codage pilote un robot dans 77% des tâches, mais seulement 30% avec les seuls capteurs
Source : TG: @gonzo_ML (gonzo-обзоры ML статей). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Rédacteur en chef
Chiffre clé #1Les agents ont émis des actions directement, écrit des contrôleurs ou entraîné des politiques
Chiffre clé #2Les difficultés se concentrent sur le contact précis, qui demande des essais répétés
Chiffre clé #3Tous les chiffres reposent sur des tentatives uniques et sur la seule simulation ; le code est ouvert sur GitHub

Les agents de codage comme Codex ou Claude Code écrivent et corrigent des programmes avec assurance. Il est naturel de vouloir leur confier le pilotage d'un robot physique. Mais dans un programme, le développeur peut inspecter n'importe quelle variable et, en cas de problème, simplement relancer le processus.

Avec un robot, une pièce tombée ne se remet pas en place, et l'agent ne voit que ce que lui montrent ses propres capteurs. Le nouveau benchmark Embodied First Exam (EFE) a mesuré le coût de cet écart. Le meilleur agent testé, GPT-6 Astra dans le CLI Codex d'OpenAI, résout 77% des tâches difficiles lorsqu'il dispose de l'état complet du simulateur et de réinitialisations illimitées.

Il n'en résout que 30% lorsqu'il ne lui reste que les capteurs embarqués et un nombre limité de réinitialisations. La chute est de 47 points de pourcentage.

Ce qui a été testé

EFE est un benchmark conteneurisé de 1156 tâches sur 47 robots simulés. Les agents sont utilisés tels quels, sans adaptation spécifique à la robotique. Ils disposent de trois voies : envoyer directement des commandes au robot, écrire un contrôleur pour lui, ou entraîner une politique de contrôle. Les mêmes tâches difficiles ont été comparées dans deux modes : le « mode développeur » et le « mode robot réel ».

Une large équipe dirigée par Manling Li a mené ces travaux. Parmi les coauteurs figurent Fei-Fei Li, Pieter Abbeel, Eric Xing et Dawn Song. Le code du benchmark est publié sur GitHub : chacun peut donc y faire tourner son propre agent.

Où l'agent décroche

Imaginez que vous branchiez une fiche dans une prise. En mode développeur, vous disposez d'une caméra placée au-dessus, des coordonnées exactes de tous les objets et d'un bouton « annuler » sans limite. En mode robot réel, vous ne voyez que ce que voit la main elle-même, et les tentatives sont rares, car après un échec, quelque chose a pu tomber ou bouger. C'est précisément ce qui distingue les deux modes dans EFE.

Dans le premier mode, GPT-6 Astra vient à bout de 77% des tâches difficiles appariées. Dans le second, de 30%. Les auteurs attribuent cet écart en premier lieu aux étapes qui exigent un contact précis : pour trouver la bonne force et la bonne position, il faut plusieurs essais et erreurs. Quand les tentatives sont rares et l'erreur irréversible, l'agent ne peut pas appliquer sa routine habituelle « écrire, exécuter, corriger », comme il le fait avec du code.

L'idée centrale : en programmation, des privilèges habituels (une vue complète de l'état et des redémarrages peu coûteux) sont implicitement intégrés à la façon dont les agents travaillent. Le monde physique les supprime.

Que faire en pratique

L'auteur d'une analyse publiée sur le canal gonzo_ML range les harnais (couches d'exécution) pour robots physiques parmi les prochains grands sujets. La leçon d'EFE va bien dans ce sens : un seul modèle performant ne suffit pas. Il faut une couche qui décide quelles actions sont sûres, vérifie le résultat grâce aux capteurs et remet le système en état de marche après un échec.

Pour les équipes qui construisent des robots à partir d'agents LLM, on peut en tirer quelques règles simples :

  • n'évaluez pas l'agent uniquement en simulation avec l'état complet : une telle métrique surestime fortement les chances réelles (77% contre 30% dans EFE) ;
  • prévoyez une récupération sûre et un retour arrière, au lieu de compter sur un redémarrage ;
  • testez séparément les étapes de contact précis : c'est là que le taux de réussite chute le plus ;
  • considérez le nombre de tentatives disponibles comme une condition de la tâche : moins il y a de réinitialisations, plus le résultat baisse.

Limites

Les auteurs le précisent : toutes les évaluations du benchmark reposent sur des tentatives uniques et uniquement en simulation. La variabilité entre les exécutions reste inconnue, et le passage à de vrais bras manipulateurs ajoutera ses propres difficultés : frottements, bruit des capteurs, usure des pièces. Les 30% ne constituent donc pas une prévision pour un robot réel. Ils indiquent à quel point le mode « capteurs seuls et réinitialisations limitées » pénalise un agent qui excelle en mode développeur.

La leçon pratique pour les product managers et les fondateurs : si vous promettez un « agent qui pilote du matériel », testez-le dans des conditions aussi proches que possible de celles du terrain. L'écart de 47 points de pourcentage entre une simulation confortable et des capteurs réalistes est la zone où se joue aujourd'hui le sort d'un tel produit.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été testé ?

EFE est un benchmark conteneurisé de 1156 tâches sur 47 robots simulés. Les agents sont utilisés tels quels, sans adaptation spécifique à la robotique. Ils disposent de trois voies : envoyer directement des commandes au robot, écrire un contrôleur pour lui, ou entraîner une politique de contrôle. Les mêmes tâches difficiles ont été comparées dans deux modes : le « mode développeur » et le « mode robot réel ». Une large équipe dirigée par Manling Li a mené ces travaux.

Que sait-on sur Où l'agent décroche ?

Imaginez que vous branchiez une fiche dans une prise. En mode développeur, vous disposez d'une caméra placée au-dessus, des coordonnées exactes de tous les objets et d'un bouton « annuler » sans limite. En mode robot réel, vous ne voyez que ce que voit la main elle-même, et les tentatives sont rares, car après un échec, quelque chose a pu tomber ou bouger. C'est précisément ce qui distingue les deux modes dans EFE. Dans le premier mode, GPT-6 Astra vient à bout de 77% des tâches difficiles appariées.

Que sait-on sur Que faire en pratique ?

L'auteur d'une analyse publiée sur le canal gonzo_ML range les harnais (couches d'exécution) pour robots physiques parmi les prochains grands sujets. La leçon d'EFE va bien dans ce sens : un seul modèle performant ne suffit pas. Il faut une couche qui décide quelles actions sont sûres, vérifie le résultat grâce aux capteurs et remet le système en état de marche après un échec.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…