Artificial Analysis lance AA-Robotics et teste GPT, Claude et Gemini comme « cerveau » de robot

Le 14 octobre, Artificial Analysis, laboratoire indépendant qui compare les modèles de langage sur la qualité, la vitesse et le prix, a publié AA-Robotics. C'est le premier benchmark où des LLM généralistes ne sont pas évalués sur des mathématiques de niveau olympiade ni sur la programmation, mais sur des tâches liées au pilotage de robots. GPT, Claude et Gemini figurent parmi les participants. La publication est une version zéro (v0) : les auteurs eux-mêmes qualifient la méthodologie de préliminaire. Le fragment de l'article dont nous disposons ne contient pas le tableau complet des résultats. Nous détaillons donc ci-dessous le format et le contexte.

Ce que le benchmark évalue

Depuis des années, les entreprises d'intelligence incarnée (embodied AI) entraînent des « cerveaux » distincts pour les robots. Ces modèles transforment une commande en langage naturel et une image de caméra en une séquence d'actions. Le travail coûte cher : il faut des données issues de vraies machines, des simulateurs, des heures de banc d'essai.

AA-Robotics pose une question qui dérange. Si un grand modèle généraliste planifie déjà bien, raisonne bien et comprend bien les instructions, jusqu'où peut-il aller dans des scénarios robotiques sans entraînement spécifique ? Une analyse chinoise publiée par Jiqizhixin parle de « frappe par réduction de dimension » (降维打击) : les modèles généralistes pourraient prendre une part du marché aux modèles spécialisés.

Rien ne garantit qu'il en ira ainsi. La version v0 signifie que l'ensemble des tâches et la méthode de calcul des scores peuvent changer, et que les comparaisons entre versions manqueront de rigueur.

Ce que l'on sait de la publication

• Organisateur : Artificial Analysis, laboratoire d'évaluation indépendante des modèles d'IA.
• Nom : AA-Robotics, premier benchmark de robotique de cette série.
• Date de publication : 14 octobre.
• Participants : les modèles généralistes GPT, Claude et Gemini.
• Statut : version v0, méthodologie à un stade précoce.
• Objet de la comparaison : la capacité des LLM généralistes à travailler sur des tâches robotiques, traditionnellement confiées à des modèles spécialisés.

Pourquoi c'est important pour le marché

Les analyses d'Artificial Analysis sont déjà devenues un point de référence habituel pour l'industrie. On choisit des API d'après ses indices, on ajuste des versions pour y briller, on les cite dans les présentations. Si la même plateforme se met à publier des chiffres comparables pour les robots, les start-up d'intelligence incarnée auront un juge extérieur. Jusqu'ici, elles montraient plutôt leurs propres démonstrations, difficiles à comparer entre elles.

Il y a aussi un revers. Un benchmark pour modèles de langage mesure en général la planification et la compréhension de la tâche, mais pas la précision de saisie d'un objet, les latences de commande ni la robustesse au bruit du monde réel. Un score élevé dans un tableau n'équivaut pas à un manipulateur qui fonctionne dans un entrepôt. Tout classement de ce type doit se lire en se demandant ce qui y compte comme un succès : un plan d'action correct, un résultat en simulation ou une exécution sur une machine physique.

Comment lire les résultats

Tant que le tableau complet manque, mieux vaut s'en tenir à quelques règles.

Une équipe qui construit un robot sur une LLM du commerce devrait faire tourner ses propres scénarios sur les modèles du classement et comparer avec les chiffres publics. Une concordance avec AA-Robotics sera un signal ; un écart indiquera où chercher le point faible.

Les entreprises qui développent leurs propres modèles pour le monde physique doivent décider dès maintenant sur quelles tâches elles sont prêtes à se mesurer publiquement aux modèles généralistes. Si ce classement s'impose, l'absence d'une entreprise y passera pour un refus de la comparaison.

Investisseurs et acheteurs auraient intérêt à attendre au moins la prochaine version du benchmark et à observer comment l'ensemble des tâches évolue. Les chiffres de la v0 valent mieux comme repère que comme verdict.

Le principal enseignement de cette publication : pour la première fois, un évaluateur indépendant central des modèles d'IA place GPT, Claude et Gemini sur une même échelle, avec la spécificité de la robotique. Il faudra attendre la publication des résultats détaillés pour savoir à quel point cette comparaison sera douloureuse pour les développeurs de modèles spécialisés.