Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarX: @ArtificialAnlys→ original

Deux Claude en tête du classement des agents de programmation à 58 points, avec un coût par tâche de 1,51 $ à 44,22 $

Artificial Analysis a mis à jour son classement des agents de programmation. Il évalue non pas le modèle seul, mais la combinaison du modèle avec son outillage, comme Claude Code. Claude Fable 5.2 et Claude Opus 5.5 partagent la première place avec 58 points sur l'échelle de l'indice. Pour les configurations à partir de 48 points, le coût d'une tâche varie d'un facteur 30 : 1,51 $ avec Codex et GPT-6.1 Sol, contre 44,22 $ avec Claude Code et Fable 5.2 (max). Pour choisir un agent, il faut donc regarder le couple « score et coût par tâche ».

Traité par IA depuis X: @ArtificialAnlys ; édité par Hamidun News
Deux Claude en tête du classement des agents de programmation à 58 points, avec un coût par tâche de 1,51 $ à 44,22 $
Source : X: @ArtificialAnlys. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @ArtificialAnlys ↗
Rédacteur en chef
Chiffre clé #1En raison du nouveau FrontierCode 2.0, les scores ont baissé de 5 points en moyenne
FrontierCode 2.0132 tâches, évaluées selon la question de savoir si un mainteneur accepterait la correction proposée
Chiffre clé #3Seul Codex avec GPT-6.1 Terra n'a pas reculé : il reste à moins de 1 point

Quand une équipe choisit un assistant de programmation basé sur l'IA, le nom du modèle ne suffit pas. Un même modèle donne des résultats différents selon son « outillage », c'est-à-dire le programme qui lui donne accès au dépôt de code et au terminal : Claude Code, Codex, Antigravity CLI ou Devin Fusion CLI. Ce sont précisément ces combinaisons que mesure le laboratoire indépendant Artificial Analysis dans son Coding Agent Index. La version 2.1 vient de sortir : Claude Fable 5.2 et Claude Opus 5.5 partagent la première place avec 58 points sur l'échelle de l'indice, et le coût d'une tâche varie d'environ 30 fois entre les combinaisons performantes, de 1,51 $ à 44,22 $.

Ce qui a changé dans l'indice

Dans la version 2.1, deux des trois tests ont été mis à jour. Le premier est FrontierCode : la version 1.1 cède la place à FrontierCode-AA 2.0, une implémentation propre à Artificial Analysis de l'ensemble FrontierCode 2.0 développé par Cognition. Il comporte 132 tâches réelles, et ce ne sont pas les tests formels qui sont vérifiés, mais un critère compréhensible par tous les développeurs : le mainteneur du dépôt accepterait-il la modification proposée par l'agent ? C'est l'équivalent d'une revue de code dans un projet réel.

Le second est Terminal-Bench : la version 4.0 est remplacée par la 4.1. Il reste 66 tâches, mais les scripts de vérification sont devenus plus fiables et mieux protégés contre le reward hacking, c'est-à-dire la situation où un agent trouve une faille et obtient la validation sans avoir résolu la tâche. Le troisième test, SWE-Atlas-QnA-AA, n'a pas été retiré de l'indice.

En raison de FrontierCode-AA 2.0, plus strict, les scores de la v2.1 sont plus bas : les modèles ont perdu 5 points en moyenne. La seule configuration qui n'a presque pas reculé est Codex avec GPT-6.1 Terra (max) : son résultat reste à moins de 1 point de l'ancien. Les chiffres de la v2.1 ne peuvent donc pas être comparés directement à ceux des versions précédentes, puisque l'ensemble des tâches a changé.

Qui est en tête

La première place, à 58 points, est partagée par deux combinaisons reposant sur des modèles d'Anthropic. Claude Fable 5.2 obtient 58 aussi bien en mode xhigh qu'en mode high dans Claude Code. Claude Opus 5.5 (max) atteint également 58 dans Claude Code, et aussi en association avec GPT-6 Luna High dans l'environnement multimodèle de Cognition, Devin Fusion CLI.

Détail intéressant : Claude Fable 5.2 en mode max n'a obtenu que 56. Selon Artificial Analysis, davantage de ses tentatives ont buté sur la limite de temps par tâche. Le mode le plus « appliqué » ne garantit donc pas le meilleur résultat : l'agent peut tout simplement ne pas finir dans les délais. Viennent ensuite Claude Sonnet 5.5 (max), avec 56 points dans Claude Code, et Gemini 4 Carbon (high), avec 55 points dans Antigravity CLI.

Coût contre qualité

Pour le budget, le chiffre le plus important est le coût. Parmi les configurations ayant obtenu 48 points ou plus, le coût d'une tâche varie d'environ 30 fois. La moins chère est Codex avec GPT-6.1 Sol (max) : 52 points et 1,51 $ par tâche. La plus chère est Claude Code avec Claude Fable 5.2 (max) : 56 points et 44,22 $.

L'écart de qualité entre ces deux options est de 4 points, alors que l'écart de prix atteint presque 30 fois. Si un agent tourne sur des centaines de tâches par jour, il ne s'agit plus d'une nuance académique, mais d'un poste de dépenses important.

Que faire en pratique

Premièrement, ne transposez pas le classement d'un autre à votre propre environnement sans le vérifier : changer d'outillage change le résultat. Deuxièmement, regardez le score en même temps que le prix et les limites de temps : le mode « maximum » peut coûter plus cher et perdre quand même face à une configuration plus légère. Troisièmement, gardez à l'esprit les limites de l'exercice : il s'agit d'un seul indice indépendant reposant sur trois tests, qui ne connaît pas les spécificités de votre code.

Une démarche raisonnable : retenez deux ou trois configurations en haut du tableau, en incluant obligatoirement une option peu coûteuse, puis testez-les sur vos propres tâches issues de votre dépôt. L'indice public aide à choisir un point de départ, mais c'est le coût d'une modification acceptée dans votre projet qui doit trancher.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a changé dans l'indice ?

Dans la version 2.1, deux des trois tests ont été mis à jour. Le premier est FrontierCode : la version 1.1 cède la place à FrontierCode-AA 2.0, une implémentation propre à Artificial Analysis de l'ensemble FrontierCode 2.0 développé par Cognition. Il comporte 132 tâches réelles, et ce ne sont pas les tests formels qui sont vérifiés, mais un critère compréhensible par tous les développeurs : le mainteneur du dépôt accepterait-il la modification proposée par l'agent ?

Que sait-on sur Qui est en tête ?

La première place, à 58 points, est partagée par deux combinaisons reposant sur des modèles d'Anthropic. Claude Fable 5.2 obtient 58 aussi bien en mode xhigh qu'en mode high dans Claude Code. Claude Opus 5.5 (max) atteint également 58 dans Claude Code, et aussi en association avec GPT-6 Luna High dans l'environnement multimodèle de Cognition, Devin Fusion CLI. Détail intéressant : Claude Fable 5.2 en mode max n'a obtenu que 56.

Que sait-on sur Coût contre qualité ?

Pour le budget, le chiffre le plus important est le coût. Parmi les configurations ayant obtenu 48 points ou plus, le coût d'une tâche varie d'environ 30 fois. La moins chère est Codex avec GPT-6.1 Sol (max) : 52 points et 1,51 $ par tâche. La plus chère est Claude Code avec Claude Fable 5.2 (max) : 56 points et 44,22 $. L'écart de qualité entre ces deux options est de 4 points, alors que l'écart de prix atteint presque 30 fois.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…