CodeActionBench : GPT-6 Astra dans Codex CLI atteint 73,3% de réussite sur des tâches bimanuelles

Le benchmark CodeActionBench, présenté par le média Jiqizhixin, pose une question simple : si un agent sait regarder une image et écrire du code, peut-il piloter un robot ? En simulation bimanuelle, le meilleur résultat cité revient à GPT-6 Astra, lancé via Codex CLI. Le taux de réussite par tentative atteint 73,3%. Claude Opus 5 a été testé dans le Reference harness, mais son résultat est tronqué dans l'extrait disponible de la publication : il est donc impossible, pour l'instant, de comparer les modèles chiffres à l'appui.

Ce que mesure exactement le benchmark

La plupart des tests en robotique vérifient des maillons isolés : reconnaissance de scène, planification ou contrôle bas niveau. CodeActionBench réunit toute la chaîne en une seule exécution. L'agent reçoit une observation visuelle, élabore une politique d'actions (ici sous forme de code), l'exécute dans un environnement physique et décide lui-même si la tâche est accomplie.

Cette dernière étape compte plus qu'il n'y paraît. Sur une ligne de production réelle, un agent qui déclare avec aplomb avoir réussi alors qu'il a échoué est plus dangereux qu'un agent qui signale honnêtement une défaillance. En intégrant l'évaluation de l'achèvement dans le cycle, les auteurs testent l'autocontrôle de l'agent, et pas seulement sa motricité.

Deuxième particularité : des conditions uniformes. Les agents généralistes comme Codex CLI arrivent avec leur propre harness : un jeu d'outils, un format de prompts, des règles de manipulation des fichiers. Si l'on n'aligne pas ces paramètres, on ne compare plus des modèles, mais l'emballage qui les entoure. La mention du Reference harness dans la source indique que les auteurs disposent d'un harness de référence pour réaliser cet alignement.

Ce que disent les données publiées

• Benchmark : CodeActionBench, évaluation d'agents multimodaux généralistes en manipulation robotique.
• Cycle : observation, génération de politique, exécution physique, jugement sur l'achèvement.
• Environnement : simulation bimanuelle (à deux bras).
• Meilleur résultat cité : GPT-6 Astra dans Codex CLI, 73,3% de réussite par tentative.
• Second participant : Claude Opus 5 dans le Reference harness, aucun chiffre dans le texte disponible.
• Non communiqués : le nombre de tâches, le nombre de tentatives par tâche, la liste complète des modèles, la dispersion des résultats.

Comment lire le chiffre de 73,3%

La métrique s'appelle réussite par tentative, et elle ne correspond pas à la part de tâches résolues. Si l'agent a droit à plusieurs tentatives, la part de tâches résolues est généralement supérieure à la réussite d'une tentative isolée. Lorsque les auteurs publieront le tableau complet, il faudra regarder ces deux valeurs, ainsi que la manière dont l'agent exploite le retour d'information entre les tentatives.

La simulation offre de la reproductibilité et des exécutions peu coûteuses, mais elle ne comble pas l'écart avec le monde réel. Les frottements, les jeux mécaniques, le bruit des capteurs et les prises imparfaites sur de vrais manipulateurs mettent souvent en échec des politiques qui fonctionnent proprement dans un environnement virtuel. Les 73,3% indiquent donc le plafond des capacités de l'agent dans des conditions contrôlées, et non sa disponibilité pour l'atelier.

L'approche elle-même mérite pourtant l'attention. Le code comme interface avec le robot facilite la vérification : on peut lire la politique, la déboguer et la rejouer. C'est plus transparent qu'une politique neuronale de bout en bout, dont il faut deviner la cause des erreurs.

Ce que les praticiens doivent vérifier

Les équipes qui évaluent des agents généralistes pour la robotique devraient contrôler trois points. Premièrement, attendre la méthodologie complète : nombre de tâches, règles de nouvelles tentatives et configuration du harness. Deuxièmement, comparer les modèles dans un même harness, plutôt que sur des chiffres annoncés par des sources différentes. Troisièmement, mesurer à part la précision de l'auto-évaluation de l'achèvement : à quelle fréquence l'agent déclare un succès alors qu'il a réellement échoué. C'est cet indicateur qui déterminera si l'on peut laisser un tel système fonctionner sans supervision humaine.