Gemini 4 Carbon de Google atteint 88,2% au test de détection de vulnérabilités, accès pour l'instant fermé

Google DeepMind a annoncé Gemini 4 Carbon, un nouveau modèle qu'elle présente comme son plus puissant. Le chiffre central de l'annonce, 88,2%, provient du test SEC-bench Pro. Dans ce test, le modèle recherche sans aide humaine de véritables vulnérabilités, c'est-à-dire des erreurs dans des logiciels réels qui permettent de pirater un système. Carbon sort deux semaines après Gemini 4 Argon. Google met l'accent sur la cybersécurité et sur les longues tâches d'ingénierie qu'un modèle agentique résout en plusieurs étapes, parfois pendant des jours. L'accès est pour l'instant restreint : le modèle est d'abord remis à certains spécialistes en cybersécurité. Presque tous les chiffres ci-dessous proviennent de l'annonce de Google elle-même.

Trois tests pour couvrir tout le parcours du défenseur

Google affirme que Carbon couvre les trois étapes du travail d'un défenseur : trouver une vulnérabilité, évaluer sa dangerosité, puis la corriger. L'entreprise cite pour cela trois tests externes. Le modèle les a tous passés sans garde-fous.

• SEC-bench Pro. Ce test évalue la recherche de vulnérabilités réelles dans de vrais logiciels. Carbon obtient 88,2%, ce qui, selon Google, est le meilleur résultat à ce jour. • ExploitGym. Ce test vérifie si une faille découverte peut être exploitée pour mener une attaque. Les défenseurs en ont besoin pour décider quoi corriger en premier, et ce qui ne vaut pas la peine d'être corrigé. Carbon obtient 54,8%, là aussi le meilleur résultat. • CWE-bench, de la société Collinear. Ce test vérifie si le modèle peut trouver la cause d'une erreur et écrire un correctif fonctionnel. Carbon obtient 71,0%.

Google publie aussi des mesures internes. Dans les tests de l'entreprise, Carbon écrit du code sûr plus de deux fois plus souvent qu'Argon. L'équipe du navigateur Chrome indique que, pour la création de correctifs de qualité, Carbon s'est montré plus de 10 fois plus efficace qu'un grand modèle d'un autre laboratoire. Google ne dit pas lequel. Wiz, la plateforme de sécurité cloud qui appartient à Google, note que Carbon domine les tests de piratage d'applications web. Ces résultats servent de base à son initiative Scan for Good.

Au classement agrégé Artificial Analysis Intelligence Index version 5.0, Carbon est premier avec 59 points. Dans WebDev Arena, qui évalue la qualité des sites et des applications web créés par des modèles, il gagne 89 points Elo et se classe désormais quatrième (1769). Google évoque aussi des progrès en programmation, en tâches scientifiques, en développement web et en compréhension de différents types de données.

Un modèle qui travaille pendant des jours et triche moins

Carbon est conçu pour les longues tâches où l'agent agit de façon autonome. En interne, Google l'a lancé pour plusieurs jours, et il a poursuivi son travail lorsqu'il se heurtait à une impasse. Tâches typiques : trouver la cause d'un bogue subtil et le corriger dans une grande base de code ou dans un système de bas niveau.

Carbon hérite des protections d'Argon. Elles comprennent l'entraînement du modèle, la protection en temps réel contre les usages abusifs, la résistance à la prompt injection et le contrôle de la chaîne de raisonnement du modèle. La prompt injection est une attaque qui consiste à cacher des commandes malveillantes dans les données traitées par le modèle. Google a en outre entraîné Carbon à se comporter correctement sur des tâches complexes et sous pression. Voici les chiffres de l'annonce :

• Triche aux tests. Dans Terminal-Bench 4.0, un test de travail d'un agent en ligne de commande, les contournements réussis de la tâche par une faille sont tombés à 0,0%, et les tentatives elles-mêmes à 0,4%.

La précision globale a, dans le même temps, progressé. • Signaux d'alerte. Dans les sessions de travail réelles avec les équipes de Google, les alertes sérieuses indiquant que le modèle n'agit pas comme il le devrait ont diminué de près de 80%.

• Inventions. Les affirmations sans source sont environ deux fois moins nombreuses que chez Argon. Lorsque les données manquent, Carbon ajoute des réserves directement dans le résultat ou énumère ce qui manque encore pour continuer, et n'invente rien.

• Tâches floues. Au lieu de deviner, le modèle rassemble des sources et montre à l'utilisateur les divergences avant de commencer le travail. • Limites de la tâche.

Les initiatives superflues ont reculé de 26%, et les tâches inachevées de 29%. Un plan en plusieurs étapes est exécuté de façon plus fiable et reste dans le cadre du projet. • Prompt injection.

Dans le test Gray Swan Indirect Prompt Injection, Argon laissait passer 0,7% des attaques. Carbon n'en a laissé passer aucune parmi celles testées.

Zéro pour cent ne signifie pas que le modèle est impossible à pirater : l'ensemble d'attaques du test est limité, et les attaquants réels sont plus inventifs. Mais pour un agent à qui l'on confie un dépôt de code pendant plusieurs jours, ce comportement compte.

Qui aura accès au modèle et à quel prix

Google déploie le modèle avec prudence. L'entreprise participe au dispositif volontaire de vérification des modèles avant leur sortie, mené par le gouvernement américain. Cette semaine, Carbon est remis à certains spécialistes en cybersécurité. L'accès sera ensuite ouvert progressivement à d'autres partenaires de confiance via le programme Fairwind. Google promet le modèle aux développeurs, aux entreprises et au grand public dès que possible, mais sans donner de calendrier. Pour l'instant, l'entreprise recueille des retours et affine les garde-fous.

Le prix est le même que celui d'Argon. Pendant la période d'introduction, il s'élève à 2 $ par million de tokens en entrée et 10 $ par million de tokens en sortie. Un token est un petit fragment de texte en lequel le modèle découpe la requête et la réponse. Les tokens d'entrée provenant du cache, c'est-à-dire le contexte réutilisé, coûtent 95% moins cher. Après la période d'introduction, les prix doubleront : 4 $ et 20 $.

Si des mesures indépendantes confirment les chiffres de Google, la recherche de vulnérabilités et la préparation des correctifs pourront être confiées presque entièrement au modèle. Les équipes de sécurité en profiteront. Mais un modèle qui trouve et exploite bien les failles peut aussi servir aux attaquants, ce qui rend le lancement fermé raisonnable. Ceux qui comptent intégrer Carbon à leurs produits devraient anticiper dès maintenant le doublement des tarifs.