FrontierCode : les meilleurs modèles d'IA échouent à la review des mainteneurs dans 42% des cas

Même les modèles de code les plus performants continuent de générer fréquemment des modifications qu'un mainteneur refuserait de merger. Artificial Analysis a mis en ligne les premiers résultats indépendants de FrontierCode 1.1, un benchmark développé par Cognition en collaboration directe avec des mainteneurs de projets open source réels. Le meneur du classement, Claude Opus 5.5 (max with fallback), obtient une moyenne de 52%. Seules 58% de ses tentatives franchissent tous les contrôles bloquants, les 42% restants se soldant par un zéro pointé. Données arrêtées au 12 octobre 2026.

Ce que mesure précisément FrontierCode

Chaque tâche impose à l'agent d'apporter une modification au sein d'un dépôt réel. L'évaluation ne se limite pas à valider l'exécution des tests. Le benchmark pénalise les modifications superflues, les diffs boursouflés, les retouches de fichiers hors périmètre et les tests inutiles. Si les modèles actuels savent résoudre des problèmes de programmation, leur production requiert souvent un lourd travail de nettoyage avant d'envisager le moindre merge. FrontierCode cherche précisément à quantifier cet écart.

Cognition a conçu ce jeu d'évaluation aux côtés des mainteneurs de 36 dépôts, chacun consacrant plus de 40 heures par tâche. Dévoilé en juin 2026, le benchmark est passé en version 1.1 en juillet afin d'intégrer des règles encadrant l'usage loyal d'Internet. Le système de vérification combine des tests masqués, des validations par commandes, des plafonds stricts sur le volume de code et le nombre de fichiers modifiés, ainsi qu'une revue par un LLM alignée sur les exigences des mainteneurs. L'échec au moindre contrôle bloquant entraîne la note de 0. Les soumissions validant l'ensemble des étapes obtiennent entre 70% et 100%.

Artificial Analysis a exécuté le jeu principal de 100 tâches (le benchmark complet en compte 150) à raison de trois tentatives par tâche. L'ensemble des modèles a tourné au sein du même environnement, le harness open source pour agents Stirrup, configuré avec une limite de 250 tours. Le rôle de juge a été confié à GPT-6 Luna (medium). Toute tentative où le scanner de trajectoire de Cognition repère une consultation frauduleuse de la solution reçoit immédiatement un zéro. Les tâches restent privées afin d'empêcher toute contamination des données d'entraînement.

La hiérarchie au sommet

• Claude Opus 5.5 (max with fallback) : 52% de score global, 58% de pass rate, 10,15 $ par tâche.
• GPT-6.1 Sol (max) et Claude Fable 5.1 (max with fallback) : 49% chacun. Sol facture 0,81 $ par tâche, contre 12,00 $ pour Fable.
• Meilleur modèle open weights : MiMo-V2.6-Pro affiche 45% pour 0,18 $ par tâche. DeepSeek V4.1 Flash (max) et Kimi K3 (max) suivent de près à 44%.
• Neuf modèles issus de six laboratoires distincts se tiennent dans un mouchoir de poche entre 43% et 52%.
• Le pass rate chute jusqu'à 16% pour Muse Glimmer (high).
• 9 tâches sur 100 n'ont été résolues par aucun modèle lors d'aucune tentative. Aucune tâche n'a été réussie par l'ensemble des modèles sur toutes leurs tentatives.

Coût, tokens et temps d'exécution

Le coût par tâche présente des écarts supérieurs à un facteur 100 : de 0,09 $ pour GPT-6 Luna (max), crédité de 42%, jusqu'à 12,00 $ pour Claude Fable 5.1. Sur le front de Pareto liant score et tarification se distinguent quatre options : GPT-6 Luna (max) (42% pour 0,09 $), MiMo-V2.6-Pro (45% pour 0,18 $), GPT-6.1 Sol (max) (49% pour 0,81 $) et Claude Opus 5.5 (52% pour 10,15 $). La dernière marche, séparant Sol d'Opus, n'apporte que 3 points supplémentaires malgré un coût multiplié par plus de 12.

Les comparaisons intrafamiliales s'avèrent tout aussi instructives. GPT-6.1 Sol devance GPT-6 Astra (max) de 2 points tout en coûtant plus de cinq fois moins cher : 0,81 $ contre 4.22 $. Claude Sonnet 5.5 produit environ 50% de tokens de sortie de plus qu'Opus 5.5, mais son tarif au token divisé par deux ramène la facture à 8,26 $, contre 10,15 $.

Les déclinaisons de GPT-6 se révèlent les plus sobres en matière d'inférence. GPT-6 Astra et GPT-6.1 Sol consomment respectivement environ 27 mille et 33 mille tokens de sortie par tâche. En face, Claude Opus 5.5 grimpe à environ 157 mille tokens, et Claude Sonnet 5.5 culmine à environ 236 mille tokens, le plus haut volume observé. Le temps de traitement dépend à la fois du volume de tokens et du débit du modèle : il oscille entre environ 3 minutes pour Inkling (xhigh) et environ 46 minutes pour Qwen3.8 Max (0902).

Comment interpréter ce classement ?

L'enseignement opérationnel pour les équipes déployant des agents de code est clair : l'écart de 3 à 10 points entre les modèles de tête pèse souvent bien moins lourd que le saut d'un ordre de grandeur sur les coûts d'API. Dans un flux où l'agent opère en autonomie mais où chaque pull request reste soumise à validation humaine, GPT-6.1 Sol ou MiMo-V2.6-Pro représentent un arbitrage bien plus rationnel que les fleurons très onéreux. Payer la surtaxe pour grapiller les 3 derniers points vers le sommet ne se justifie que là où le coût d'une erreur devient prohibitif.

Autre signal fort : le taux de rejet de 42% essuyé par le meneur confirme qu'une revue de code humaine demeure indispensable. L'attention doit porter autant sur le passage des tests que sur l'ampleur des diffs et les modifications collatérales non sollicitées. FrontierCode fait pour l'heure l'objet d'un classement dédié, indépendant de l'Artificial Analysis Intelligence Index. Son intégration au leaderboard des agents de programmation (Coding Agents) est annoncée à court terme.