Artificial Analysis publie l'Intelligence Index v5 : les modèles ouverts accusent 12 points de retard

Artificial Analysis a publié l'Intelligence Index v5, la plus importante mise à jour de son classement composite depuis janvier. L'indice compte désormais neuf évaluations, et 60% de son poids repose sur des tests à jeux de données privés ou à réponses masquées. Cette mesure vise à se prémunir contre les fuites dans les données d'entraînement. Claude Opus 5.5 (max) mène avec 58 points, mais aucun modèle ne l'emporte sur les neuf tests.

Comment l'indice a été remanié

La v5 compte deux nouveaux benchmarks et trois benchmarks mis à jour. Quatre catégories pèsent chacune 25%. La composition est la suivante :

• Knowledge Work (25%) : AA-Briefcase (15%), AutomationBench-AA (5%), GDP.pdf (5%).
• Coding (25%) : FrontierCode 2.0 (15%) et Terminal-Bench 4.0 (10%).
• Science (25%) : Terminal-Bench-Science (15%) et un sous-ensemble privé de CritPt v2 (10%).
• General (25%) : AA-Omniscience v1.1 (15% : 10% pour la précision, 5% pour l'absence d'hallucinations) et HLE-Diamond (10%).

FrontierCode 2.0 est un benchmark privé de Cognition, composé de 132 tâches issues de dépôts open source réels. Un résultat n'est comptabilisé que si un mainteneur aurait accepté la modification de l'agent.

L'échec à n'importe quelle vérification bloquante donne zéro. Terminal-Bench-Science comprend 70 tâches de recherche à exécuter dans un terminal, et une tâche n'est considérée comme résolue que si tous les tests passent. HLE-Diamond remplace Humanity's Last Exam : il s'agit d'une version nettoyée de 1000 questions, issue de CAIS et Scale AI, répartie à parts égales entre raisonnement et connaissances.

AA-Omniscience v1.1 a été purgé des questions saturées et publiques, enrichi de nouvelles questions, et les formulations ambiguës ont été corrigées. Le score moyen a baissé d'environ 2 points.

CritPt v2 est évalué sur 40 questions fermées, les plus difficiles parmi 70 questions de physique : les 30 que sept modèles de pointe ont résolues lors des cinq tentatives ont été retirées.

GDPval-AA v2.1, SciCode et AA-LCR v1.1 quittent l'indice. AA-Briefcase, AutomationBench-AA, GDP.pdf et Terminal-Bench 4.0 restent.

Qui est en tête, qui décroche

Les cinq premières places reviennent à des modèles d'Anthropic et d'OpenAI. Gemini 4 Argon (high) suit avec 50.

• Claude Opus 5.5 (max) : 58 au global. Il domine FrontierCode 2.0 (46%), HLE-Diamond (68%) et AA-Omniscience v1.1 (48). Il coûte $10.04 par tâche de l'indice.
• GPT-6 Astra (max) : 57. Meilleur sur Terminal-Bench-Science (63%) et CritPt v2 (72% en high effort). $6.24 par tâche.
• GPT-6.1 Sol (max) : 55. $1.27 par tâche.
• GPT-6.1 Terra (max) : le moins cher du top 10, à $0.96 par tâche.
• Claude Fable 5.1 (max) : le plus cher, à $13.04. Il obtient 60% sur HLE-Diamond.
• Claude Sonnet 5.5 : premier sur AA-Briefcase (1812 Elo), 42% sur FrontierCode 2.0.
• Kimi K3.1 Pro : meilleur sur Terminal-Bench 4.0 (67%) et meilleur modèle ouvert au global (46), mais ses poids ne sont pas encore publiés.
• Gemini 4 Argon : premier sur AutomationBench-AA (78%).
• Muse Wonder Full : premier sur GDP.pdf (33% all-pass).
• DeepSeek V4.1 Flash 1017 et GLM-5.3 (max) : 32 chacun, les meilleurs parmi les modèles ouverts dont les poids sont publiés. DeepSeek obtient 28% sur FrontierCode 2.0 et 13% sur Terminal-Bench-Science.
• Claude Haiku 5.5 (max) : 36, soit plus que n'importe quel modèle à poids ouverts. Il obtient 20% sur Terminal-Bench-Science.

L'écart des modèles ouverts est passé de 3 points dans la v4.3 à 12. Il est le plus marqué sur HLE-Diamond (Kimi K3.1 Pro à 37% contre 68%) et sur Terminal-Bench-Science (34% contre 63%). Si l'on ne compte que les poids publiés, le retard atteint 26 points. La plupart des modèles ouverts ont fait moins de 10% sur Terminal-Bench-Science.

Le prix de l'intelligence et l'appétit en tokens

GPT-6.1 Sol ne cède que 3 points à Opus 5.5, pour un coût par tâche environ huit fois inférieur. Le mode d'effort pèse désormais davantage. Opus 5.5 obtient 35 en low et 58 en max, et son coût est multiplié par dix ($0.98 contre $10.04). L'écart de Sonnet 5.5 entre ses modes passe de 20 à 29 points ; pour GPT-6.1 Sol, il passe de 10 à 20.

Les tâches sont devenues plus lourdes. La médiane de tokens de sortie par tâche a augmenté des deux tiers, de 35k à 59k. Les tests agentiques (Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase, FrontierCode 2.0) représentent 55% du poids, mais environ 90% des tokens. Terminal-Bench-Science à lui seul en absorbe environ un tiers.

Artificial Analysis lance par ailleurs le Progress Index v1. Il place sur une seule échelle continue les modèles sortis depuis novembre 2022, ce qui permet de comparer des modèles séparés par plusieurs années. Pour choisir un modèle adapté aux tâches actuelles, l'Intelligence Index reste nécessaire. Les auteurs se sont appuyés sur l'Epoch Capabilities Index et remercient Epoch AI et Anthropic.

La conclusion pratique pour les équipes : choisir un modèle d'après son score global ne suffit plus. Pour l'automatisation du code et de la science, il faut regarder FrontierCode 2.0 et Terminal-Bench-Science ; pour le budget, il faut calculer le coût par tâche et le mode d'effort. Les modèles ouverts conviennent pour l'instant aux scénarios simples, mais décrochent nettement dans les longues chaînes agentiques. Avant un passage en production, mieux vaut faire tourner ses propres tâches sous plusieurs modes d'effort.