Gemini 4 Carbon obtient 40% sur FrontierCode 2.0 de Cognition pour $4,04 par tâche

L'équipe de Cognition, qui développe l'ingénieur IA Devin, a publié sur X les premiers résultats de Gemini 4 Carbon et Gemini 4 Argon sur son propre benchmark, FrontierCode 2.0. D'après ses auteurs, ce test mesure la capacité d'un modèle à dépasser le cadre de la spécification, c'est-à-dire à faire plus que ce qui est explicitement écrit dans l'énoncé. Gemini 4 Carbon obtient 40% pour un coût de $4,04 par tâche. Cognition qualifie ce résultat de proche du SOTA, mais reconnaît que le modèle se situe derrière Claude Opus 5.5, GPT-6 Astra et un autre modèle Claude.

Ce que l'on sait de Gemini 4 Carbon et Argon

Le post livre peu d'informations, et il convient de lister les chiffres avec rigueur. Gemini 4 Carbon obtient 40% sur FrontierCode 2.0. Le coût moyen de résolution d'une tâche s'établit à $4,04. Au-dessus dans le classement figurent Claude Opus 5.5, GPT-6 Astra et un autre modèle de la famille Claude. Son nom est tronqué dans le texte du post : impossible donc de préciser la place exacte de Carbon dans le tableau. On sait seulement qu'il se situe derrière trois modèles.

Pour le second modèle, Gemini 4 Argon, le texte du post ne donne ni score ni coût. Cognition indique que les deux modèles ont passé le benchmark, mais ne chiffre que Carbon. Le tableau complet se trouve probablement dans l'image ou le tableau joint, que nous n'avons pas pu consulter. Il est donc impossible de comparer Carbon et Argon sur la seule base de ce post.

Pourquoi tester un modèle sur sa capacité à dépasser la spécification

La plupart des tests de code populaires vérifient si le modèle exécute une consigne précise : corriger un bug, passer des tests écrits à l'avance. En développement réel, une tâche est presque toujours formulée de façon incomplète. Un bon ingénieur repère les cas limites oubliés, aligne les interfaces sur le reste du code et ne casse pas ce que le ticket ne mentionne pas. C'est précisément cette capacité que FrontierCode 2.0 cherche à mesurer, selon Cognition.

Pour l'entreprise, la question est pratique. Devin traite des tâches issues de dépôts réels, où la spécification est rarement exhaustive. Un benchmark qui distingue un modèle suivant strictement la lettre d'un modèle qui comprend l'intention aide à choisir le réseau de neurones qui servira de socle à l'agent. Il faut toutefois garder à l'esprit que la méthodologie et le jeu de tâches ont été publiés par Cognition elle-même, et non par un laboratoire indépendant. Le benchmark est calibré sur ses propres scénarios : il vaut mieux ne pas transposer le résultat à une autre stack sans vérification.

Comment lire le couple « 40% et $4,04 »

Le chiffre de 40% dit peu de choses à lui seul : il dépend de la difficulté du jeu de tâches. Si FrontierCode 2.0 est volontairement difficile, 40% peut constituer un score solide, et la formule « proche du SOTA » le laisse entendre. Il est plus utile d'examiner la qualité en regard du coût. Par une estimation grossière, $4,04 par tentative et 40% de tentatives réussies donnent environ $10 par tâche résolue. Il s'agit d'une estimation de la rédaction, et non d'une déclaration de Cognition. Elle suppose un coût à peu près identique pour toutes les tâches, alors qu'en pratique les tentatives échouées coûtent souvent plus cher.

Pour les équipes qui choisissent un modèle pour le codage agentique, plusieurs enseignements pratiques en découlent :

• Gemini 4 Carbon mérite d'être intégré à la comparaison au même titre que Claude Opus 5.5 et GPT-6 Astra, surtout si le coût d'un passage compte.
• Le post ne donne pas les chiffres de Claude Opus 5.5 ni de GPT-6 Astra : il est impossible d'évaluer l'écart en points et en dollars à partir du texte.
• Pour ne pas dépendre d'un benchmark tiers, testez les modèles sur 20–30 tâches issues de votre propre backlog et calculez le coût par tâche résolue, et non par tentative.

Le bilan est modeste, mais utile. Avec Gemini 4 Carbon, Google intègre le groupe des modèles compétitifs pour le codage agentique, mais la tête de ce test reste aux mains d'Anthropic et d'OpenAI. Des conclusions définitives ne pourront être tirées qu'après la publication du tableau complet, avec le résultat de Gemini 4 Argon et le coût des autres modèles.