Devin Security reçoit Claude Mythos 5.2 : 73,5 points contre 32,7 pour Opus 5.5

Chercher des vulnérabilités dans une grande base de code, c'est comme faire le ménage dans un appartement où le propriétaire rapporte chaque jour de nouveaux objets. Les analyseurs statiques font du bruit, le pentest n'a lieu qu'une fois par trimestre, et l'équipe de sécurité a toujours une file d'attente d'une centaine de tickets. Cognition propose d'accélérer ce processus grâce à un modèle : Claude Mythos 5.2 est désormais disponible dans Devin Security.

Ce qui a été lancé exactement

Devin Security est un service d'analyse managé. Il s'appuie sur des modèles « de pointe » pour la cybersécurité, mais l'équipe de sécurité n'a pas besoin d'un accès distinct à ceux-ci. Vous fournissez un dépôt, Devin lance l'analyse et renvoie ses résultats. Mythos 5.2 n'est pas encore accessible à tous : uniquement aux clients entreprise éligibles, les autres étant invités à déposer une demande.

Cognition promet par ailleurs des crédits pour des analyses gratuites. À un endroit du billet, il est question de plus de 100 M$ ; à un autre, de « centaines de millions de dollars » de crédits Devin. On ne voit pas comment concilier les deux : mieux vaut donc se fier aux conditions de la demande qu'aux titres. L'entreprise ne divulgue pas non plus ses critères de sélection.

Ce que montre le benchmark

Cognition a testé les modèles sur un jeu interne de 25 dépôts en C, Python, Go, PHP et TypeScript. Parmi les frameworks figurent Django, Flask, Laravel et Next.js. Chaque dépôt est figé sur un commit où les vulnérabilités publiquement connues ne sont pas encore corrigées. Elles sont au total 1 781.

Auparavant, le benchmark vérifiait une seule chose : Devin avait-il trouvé un bug unique, défini à l'avance. Désormais, chaque dépôt contient de nombreux bugs, ce qui permet de mesurer aussi la précision, c'est-à-dire la part de découvertes réelles. La métrique finale est le F2, sur une échelle de 0 à 100. Elle tient compte à la fois du rappel (combien de failles connues ont été trouvées) et de la précision, mais accorde plus de poids au rappel. Chaque modèle a été exécuté trois fois par dépôt, puis les résultats ont été moyennés.

Résultats :

• Claude Mythos 5.2 — 73,5
• Claude Mythos 5.1 — 56,9
• Claude Opus 5.5 — 32,7

Le gain par rapport à la version précédente de Mythos est d'environ 29 %. Opus 5.5 est à plus de deux fois de distance. Pour une même génération de modèles, c'est un bond sérieux.

Pourquoi il faut prendre ces chiffres avec réserve

Premièrement, le benchmark est interne, et c'est le vendeur du service qui l'a calculé. Il n'y a pas de réplication indépendante, et le jeu de données lui-même n'est pas publié.

Deuxièmement, ce sont des vulnérabilités qui ont été signalées publiquement. Le modèle a pu rencontrer leurs descriptions ou leurs correctifs dans ses données d'entraînement. Le billet n'en parle pas, et c'est une supposition de ma part, mais une telle fuite mérite d'être vérifiée. Trouver des bugs connus est plus facile que d'en trouver d'inconnus dans votre code privé.

Troisièmement, le F2 favorise le rappel. Pour la sécurité, la logique est claire : une faille manquée coûte plus cher qu'une vérification superflue. Mais les faux positifs ont un coût, et c'est votre équipe de tri qui le paie. Un score global unique ne dit pas combien de déchets il faudra lire à la main. Il est positif que Cognition ait intégré la précision au calcul, mais ces chiffres ne sont pas donnés séparément dans le billet.

Que faire en pratique

Si vous êtes dans le segment entreprise et responsable de la sécurité, déposez une demande. Les crédits gratuits sont une occasion de tester le service sans budget de pilote.

Ne jugez pas le résultat sur un seul score. Prenez deux ou trois de vos dépôts contenant déjà des bugs connus et corrigés, et mesurez deux choses : combien d'entre eux l'analyse a trouvés, et quelle part du rapport a dû être écartée comme du bruit. Ce second chiffre montre ce que coûtera le tri.

Renseignez-vous d'avance sur la destination du code : comment les données sont stockées, qui voit les rapports et ce qu'il en advient après l'analyse. Pour les dépôts privés, c'est plus important que l'écart de points.

Et ne remplacez pas le pentest. Un modèle qui trouve davantage de classes d'erreurs connues est une couche supplémentaire utile. Mais les vulnérabilités de logique métier et les chaînes d'attaque non évidentes n'ont pas été testées par ce benchmark.

Conclusion principale : l'association « modèle + service managé » devient nettement moins chère pour les défenseurs. Reste à savoir dans quelle mesure 73,5 points sur un test conçu par d'autres se traduiront en découvertes dans votre code. On peut le vérifier en quelques semaines, tant que les crédits sont distribués.