Google dévoile Gemini 4 Carbon : 88% en détection de vulnérabilités et première place du classement

Google a présenté Gemini 4 Carbon, son nouveau modèle de langage phare. Il a été optimisé pour trois usages : la cybersécurité, la programmation et le travail autonome des agents IA sur plusieurs jours. Dans l'Artificial Analysis Intelligence Index v5.0, qui regroupe les résultats de plusieurs tests en un score global, Carbon obtient 59 points et prend la première place. Le chiffre le plus marquant de cette sortie concerne la sécurité : 88,2% au test SEC-bench Pro, où le modèle doit trouver de véritables vulnérabilités dans des logiciels. Pour l'instant, seuls les spécialistes en cybersécurité y auront accès ; Google promet un lancement grand public plus tard.

Ce que mesuraient les tests et le score du modèle

Google a présenté quatre benchmarks, chacun couvrant une étape du travail sur du code vulnérable : trouver la faille, prouver qu'elle est exploitable, la corriger et écrire une interface correcte.

• SEC-bench Pro : 88,2%. Le modèle recherche de vraies vulnérabilités dans des programmes. C'est le meilleur résultat parmi ceux publiés.

• ExploitGym : 54,8%. Ce test vérifie si une vulnérabilité trouvée peut être exploitée, c'est-à-dire transformée d'un problème théorique en attaque fonctionnelle. Il montre à quel point le modèle est dangereux entre de mauvaises mains, et à quel point il est utile aux défenseurs qui doivent éprouver leurs propres systèmes.

• CWE-bench : 71%. Le modèle corrige automatiquement du code vulnérable. CWE désigne ici le catalogue de référence des types d'erreurs logicielles.

• WebDev Arena : 1769 Elo, quatrième place. Ce classement du développement d'interfaces web repose sur des comparaisons par paires entre les résultats des modèles. C'est le seul test où Carbon ne est pas en tête.

Tous ces chiffres proviennent de Google elle-même. Seul le score global du classement Artificial Analysis a été confirmé de manière indépendante.

Plusieurs jours de travail sans humain

Pour les ingénieurs, l'annonce la plus intéressante concerne l'autonomie. Selon Google, Carbon a résolu en interne des tâches d'ingénierie complexes dans de grandes bases de code pendant plusieurs jours d'affilée : elle cherchait les causes des bugs et les corrigeait elle-même. Jusqu'ici, les agents IA décrochaient généralement sur les tâches longues : ils se perdaient dans le contexte ou répétaient les mêmes actions.

L'entreprise avance aussi des comparaisons avec d'autres modèles :

• Le modèle écrit un code sécurisé deux fois mieux que Gemini 4 Argon, d'après les tests internes de Google. • Il produit des correctifs de qualité pour le navigateur Chrome avec une efficacité 10 fois supérieure à celle d'un autre modèle de pointe (Google ne précise pas lequel). Il s'agit de l'évaluation de l'équipe Chrome elle-même, pas d'une mesure indépendante.

• 80% de violations graves des instructions en moins lors du travail sur du code. Il s'agit des cas où l'agent fait autre chose que ce qu'on lui demandait ou sort du cadre de la tâche. • Deux fois moins d'affirmations non fondées que Argon.

Autrement dit, le modèle présente deux fois moins souvent une information non vérifiée comme un fait.

Google évoque aussi, à part, la prompt injection. Il s'agit d'une attaque dans laquelle une commande destinée à l'agent IA est cachée dans le texte d'une page web ou d'un document, et l'agent l'exécute à la place de la tâche de l'utilisateur. D'après l'entreprise, Carbon a repoussé toutes les attaques testées dans l'un des benchmarks. La réserve est importante : il s'agit d'un seul jeu de tests, pas d'une protection complète. Pour les agents auxquels on donne accès à la messagerie, au code et aux serveurs, ce risque reste l'un des principaux.

Qui y aura accès et à quel prix

Les spécialistes en cybersécurité recevront le modèle en premier. La logique se comprend : un outil qui trouve et exploite bien les vulnérabilités est utile aux défenseurs, mais dangereux s'il tombe entre les mains d'attaquants. Un lancement par étapes laisse à Google le temps de vérifier le comportement du modèle en conditions réelles. L'entreprise n'a pas communiqué de calendrier pour le lancement grand public.

Tarif de l'API après le lancement, sur la grille d'introduction :

• 2 $ par million de tokens en entrée (un token équivaut approximativement à une syllabe ou à un mot court, c'est-à-dire au texte que vous envoyez au modèle) ; • 10 $ par million de tokens en sortie (le texte que le modèle génère en réponse).

Pour un modèle phare, le prix reste modéré. Les tâches d'agent qui durent plusieurs jours consomment énormément de tokens : la facture finale dépendra donc de la sobriété du modèle sur les longues sessions. Le mot « introduction » laisse entendre que le tarif pourrait évoluer avec le temps.

Ce que doivent faire les équipes sécurité et développement

Tant que Carbon reste accessible à un cercle restreint, la conclusion pratique est la suivante. Si vous êtes responsable de la sécurité, mieux vaut préparer à l'avance des dépôts de test et un processus de vérification humaine des vulnérabilités détectées : même 88% dans un benchmark signifie qu'une partie des découvertes sera fausse, et que le modèle passera à côté d'une partie des vraies failles. Si vous développez des produits à base d'agents IA, il vaut mieux recouper les chiffres sur les violations d'instructions et les affirmations non fondées avec vos propres tâches, dès que l'accès sera ouvert. Les déclarations d'un éditeur sur son propre modèle servent de repère, mais ne remplacent pas des mesures indépendantes.