AA-Robotics v0.1 : GPT-6 Astra pilote un bras robotisé et obtient 69 points sur 100

Artificial Analysis a publié AA-Robotics v0.1, la préversion de recherche d'un benchmark qui évalue la manière dont les modèles de langage de pointe comprennent une scène physique, planifient et agissent. Chaque modèle reçoit un bras à six axes (cinq articulations et une pince) et un objectif simple. GPT-6 Astra domine avec 69,4 points sur 100. Il est suivi de GPT-6.1 Sol (64,6), Gemini 4 Argon (55,3), Claude Opus 5.5 (48,8) et Claude Fable 5.1 (46,3). Mais Astra met 30 minutes et dépense $16,36 pour une tâche moyenne, alors qu'un humain s'en acquitte en 20 secondes.

Comment le test est conçu

Les modèles travaillent dans un conteneur isolé, avec une courte consigne. On leur indique comment joindre le bras via une API HTTP simple, qu'il s'agit d'un Hiwonder NexArm (sans spécifications supplémentaires) et comment soumettre leur tentative. Ils perçoivent la scène à travers quatre caméras : trois placées autour de la table, une fixée au poignet.

Le modèle écrit lui-même le code qui planifie et envoie les mouvements. Toutes les tentatives sont réalisées en zero-shot, et l'état final est évalué par un humain : une exécution complète vaut 100 points, une exécution partielle rapporte des points proportionnels à la progression. GPT tournait dans Codex, Claude dans Claude Code et Gemini 4 Argon dans Antigravity, tous avec un niveau élevé de reasoning effort.

La v0.1 comprend huit tâches sur table :

• appuyer sur un bouton rouge ;
• poser un crocodile en peluche dans un rectangle ;
• verser une boisson d'une bouteille dans une tasse ;
• ranger quatre blocs dans une boîte et fermer le couvercle ;
• assembler des formes d'après une image ;
• écrire « hello world » au marqueur dans un cadre ;
• construire la tour la plus haute possible avec des blocs de mousse ;
• mesurer la longueur, la largeur et la hauteur d'une boîte à 2 mm près.

Les cinq modèles ont obtenu 100 points sur le bouton et le crocodile. Personne n'a réussi la mesure de la boîte : le maximum est de 17 points, pour Sol et Opus 5.5, et les autres ont obtenu zéro.

Temps, argent et erreurs étranges

Quatre modèles sur cinq tiennent en environ 30 minutes par tâche. Gemini 4 Argon est le plus lent, avec 52 minutes, dont 21 minutes en moyenne consacrées à l'observation et à la réflexion avant la première action. L'écart entre les tâches est énorme. Sur le crocodile, GPT-6.1 Sol a annoncé avoir terminé au bout de cinq minutes, tandis que Claude Opus 5.5 en a consommé 45, soit neuf fois plus. La meilleure tentative la plus rapide revient à Astra : elle a appuyé sur le bouton en 2,2 minutes.

Sur le plan financier, l'écart avec l'humain est moins marqué. Le modèle le plus économe, Sol, coûte $1,93 par tâche. Pour un humain payé au taux horaire moyen de $37,81, la même tâche reviendrait environ dix fois moins cher, mais le retard en temps est presque d'un facteur cent. Astra coûte plus de huit fois plus cher que Sol pour un avantage de seulement quatre points (69 contre 65). Environ 70% des dépenses vont au contexte d'entrée : les modèles doivent digérer de nombreuses images.

La principale faiblesse reste l'évaluation de leur propre résultat. Sol a construit une tour valable en 17 minutes environ, mais a continué d'agir et a fait échouer la tâche. Un autre modèle a amené le crocodile à la bonne position à la 23e minute, puis l'a déplacé pendant 22 minutes et l'a poussé trois fois par-dessus le bord. Dans la tâche du couvercle, un modèle l'a déclaré droit alors qu'il reposait sur une cale, par-dessus un cube. Il y a aussi des erreurs de physique : le bras heurte la tour avec l'avant-bras, traîne le crocodile par la queue, et le jet du liquide déplace la tasse de quatre centimètres lors du versement.

Comment lire les résultats

L'indicateur de précision le plus honnête est la part de saisies réussies. Elle atteint environ 45% pour GPT-6 Astra (n = 95), 44% pour Claude Fable 5.1, 40% pour Opus 5.5, 36% pour Gemini 4 Argon et 28% pour GPT-6.1 Sol. Les meilleurs modèles ratent leur cible ou lâchent l'objet dans plus de la moitié des tentatives.

La conclusion pratique pour ceux qui développent des agents robotiques : un LLM associé à un agent de code peut déjà piloter un manipulateur sur des tâches simples, mais il ne convient pas comme contrôleur autonome en production. Il est trop lent et trop cher, et son critère d'arrêt n'est pas fiable. Il vaut mieux les utiliser comme planificateurs et leur adjoindre une vérification indépendante du résultat. Les auteurs s'attendent à des progrès rapides, et il faudra surveiller l'évolution de la part de saisies réussies et du délai avant la première action.