Claude Opus 5.5 atteint 68% sur HLE-Diamond, mais chaque tâche coûte 35 fois plus cher

Artificial Analysis, un laboratoire indépendant qui compare les modèles d'IA sur la qualité et le prix, a chiffré ce que coûte un point de précision supplémentaire. Sur HLE-Diamond, un jeu de questions d'expert très difficiles issu du test Humanity's Last Exam (« Le dernier examen de l'humanité »), Claude Opus 5.5 d'Anthropic résout 42% des tâches à un faible niveau d'effort et 68% au niveau maximal. Le gain atteint 26 points de pourcentage, mais chaque tâche coûte environ 35 fois plus cher. Chez GPT-6 Astra d'OpenAI, le score passe de 45% à 64%, soit 19 points, pour un coût par tâche multiplié par 11.

Que recouvre ici le mot « effort »

Les modèles de raisonnement actuels ne répondent pas immédiatement. Ils rédigent d'abord un long brouillon de raisonnement : ils testent des pistes, vérifient leur travail, reviennent en arrière. Le réglage d'effort (effort) fixe la quantité de « réflexion » autorisée. À un niveau bas, le modèle répond vite et brièvement. Au niveau maximal, il peut dépenser sur une seule tâche plusieurs fois plus de tokens.

Ces tokens sont facturés à celui qui appelle le modèle. La qualité et le prix augmentent donc ensemble. En relevant l'effort, vous obtenez plus de bonnes réponses, mais chaque tentative coûte nettement plus cher.

Les chiffres des deux modèles côte à côte

Le billet d'Artificial Analysis donne les données suivantes :

• Claude Opus 5.5 : effort faible 42%, effort maximal 68%, gain de 26 points, coût par tâche multiplié par environ 35.
• GPT-6 Astra : effort faible 45%, effort maximal 64%, gain de 19 points, coût par tâche multiplié par 11.

Ces chiffres permettent d'en déduire quelques autres. À effort minimal, GPT-6 Astra devance Opus de 3 points (45% contre 42%). À effort maximal, la situation s'inverse : Opus est en tête de 4 points (68% contre 64%). Le taux d'erreur d'Opus baisse de 58% à 32%, celui de GPT de 55% à 36%.

Ces données ne permettent pas de dire quel modèle est le moins cher. Elles indiquent seulement de combien le coût d'une tâche augmente au sein de chaque modèle. En dollars absolus, Opus au maximum peut coûter aussi bien plus que moins que GPT-6 Astra au maximum. Tout dépend du prix de départ au niveau bas et des tarifs par token de chaque éditeur.

Combien coûte chaque point supplémentaire

On peut estimer le rapport entre prix et qualité. Un coût multiplié par 35 équivaut à environ cinq doublements (2⁵ = 32). Sur cette plage, Opus gagne 26 points, soit environ 5 points par doublement. Un coût multiplié par 11 équivaut à environ 3,5 doublements, et les 19 points de GPT-6 Astra donnent environ 5,5 points par doublement.

C'est un calcul grossier. La courbe réelle n'est presque certainement pas une droite parfaite, et la progression devrait ralentir aux niveaux élevés. Mais le tableau est instructif : GPT-6 Astra convertit un peu plus efficacement l'argent supplémentaire en précision, tandis qu'Opus 5.5 repousse plus loin le plafond de qualité. Pour obtenir les 10 à 15 derniers points, il faudra payer une somme disproportionnée.

Que faire côté ingénieurs et entreprises

La principale conclusion pratique : demander « quel modèle est le meilleur » sans préciser le mode de fonctionnement n'apprend presque rien. Un même modèle varie de 19 à 26 points selon ses réglages, un écart supérieur à celui qui sépare les leaders à un même niveau d'effort. Il faut comparer des couples « modèle plus réglage » et regarder le coût par tâche résolue.

Quelques mesures concrètes :

• Pour les tâches de masse comme la classification, l'extraction de données et les réponses types du support, choisissez un effort faible. La précision y dépend rarement de la profondeur de raisonnement, et le surcoût de 35 fois ne sera pas amorti.
• Réservez l'effort maximal aux cas rares et coûteux : analyse complexe, questions scientifiques, bugs difficiles. Une erreur y coûte plus cher que des tokens en trop.
• Mettez en place un routage. Lancez d'abord une passe peu coûteuse, et n'envoyez en mode maximal que les cas où le modèle est incertain ou dont le résultat n'a pas passé la vérification.
• Mesurez le coût par bonne réponse sur vos propres données, et pas seulement le pourcentage du benchmark. Un test comme HLE-Diamond indique un plafond sur des questions d'examen, et vos tâches de production peuvent se comporter différemment.

Le billet d'Artificial Analysis rappelle utilement que, chez les modèles de raisonnement, la précision est devenue un paramètre réglable, et non une caractéristique fixe. La facture se règle avec elle.