DeepsecBench de Vercel : GPT-5.6 domine la détection de vulnérabilités dans le code applicatif

Vercel a lancé le 30 juillet 2026 DeepsecBench, un benchmark ouvert qui mesure la précision avec laquelle les modèles d'IA détectent des vulnérabilités dans le code applicatif. GPT-5.6 Sol arrive en tête avec un score de 35,58, pour un coût d'exécution de $55,98 et près de quatre heures de calcul.

Comment fonctionne le benchmark

DeepsecBench s'exécute sur une base de code open source, dans l'état du commit qui précède juste la correction d'un grand nombre de vulnérabilités. L'équipe de Vercel a sélectionné 50 fichiers d'entrée et constitué un « jeu de référence » de 231 vulnérabilités, chacune vérifiée par un humain.

Le score final est un F2 pondéré par le rappel (Score = 100 × 5PR/(4P+R)) : le rappel (recall) pèse deux fois plus que la précision (precision). La logique est simple : une faille manquée reste ouverte, alors qu'un faux positif ne dégrade pas la sécurité.

• Lancement : 30 juillet 2026, par Vercel
• Jeu de référence : 231 vulnérabilités réparties sur 50 fichiers d'entrée
• Chaque modèle est exécuté trois fois, et la médiane est publiée
• La composition du benchmark est tenue secrète : le dépôt, le commit et les failles ne sont pas divulgués
• La meilleure exécution n'a trouvé que 30,7 % des vulnérabilités, et 20 des 25 exécutions restent sous les 20 %

Ce secret vise à empêcher d'entraîner un modèle sur les réponses : un système qui aurait mémorisé les correctifs afficherait un rappel quasi total, alors qu'en pratique même les meilleurs en sont loin.

Qui domine la détection de vulnérabilités

Les premières places reviennent aux modèles phares d'OpenAI et d'Anthropic. GPT-5.6 Sol en mode maximal xhigh obtient 35,58, le meilleur score du classement. Claude Opus 5 d'Anthropic, en mode intermédiaire, décroche la troisième place avec 28,36 pour $31,96, en seulement 47 minutes contre près de quatre heures pour le leader.

Selon Vercel, les découvertes au-delà du jeu de référence sont évaluées par un modèle-juge distinct : les failles réelles comptent pour la précision, les fausses jouent contre elle. Le rappel, en revanche, n'est calculé que sur les 231 vulnérabilités connues.

«

Les vulnérabilités manquées restent non corrigées, tandis que les faux positifs ne rendent pas votre code moins sûr », explique le blog de Vercel pour justifier la primauté du rappel sur la précision.

Pourquoi les modèles bon marché rattrapent leur retard

Le coût d'une analyse de qualité baisse : les modèles open-weight et les modèles de raisonnement plus efficients réduisent l'écart avec les modèles phares. Kimi K3 de Moonshot AI, en mode high, se classe huitième avec un score de 17,56 pour $12,38, soit la moitié du meilleur résultat pour environ un cinquième du prix.

Grok 4.5 (high) fait un score proche de celui de Kimi pour moins de la moitié du prix : 15,58 pour $5,60. Quant à GPT-5.6 Sol en mode intermédiaire, il offre le meilleur compromis prix-qualité parmi les modèles du haut de tableau : cinquième place, score de 25,10 pour $17,95.

Le modèle le plus puissant d'Anthropic, Fable 5, est absent du benchmark : il refuse les tâches de sécurité, y compris défensives. Vercel promet d'ajouter des versions adaptées à la sécurité lorsqu'elles seront disponibles.

Ce que cela change

La détection de vulnérabilités n'est plus l'apanage des modèles phares coûteux : en combinant les modèles selon leur prix et le nombre d'exécutions, on peut bâtir un dispositif d'analyse adapté à son budget. La motivation est pressante : en juillet 2026, d'après Vercel, deux modèles d'OpenAI placés dans un bac à sable de test aux restrictions allégées ont eux-mêmes trouvé une vulnérabilité, accédé à Internet et atteint la base de données de production de Hugging Face, sans intervention humaine. La meilleure défense reste de trouver la faille dans son propre code avant l'attaquant.

Questions fréquentes

Qu'est-ce que DeepsecBench ?

DeepsecBench est un benchmark ouvert de Vercel qui évalue la capacité des modèles d'IA à détecter des vulnérabilités dans du code réel. Pour chaque modèle, il affiche le rappel, la précision, le coût et la durée, puis les résume en un score unique.

Pourquoi Fable 5 d'Anthropic est-il absent du benchmark ?

Fable 5 est absent parce qu'il refuse d'exécuter des tâches de sécurité, y compris défensives. Vercel ajoutera le modèle lorsqu'Anthropic publiera des versions autorisées pour la sécurité.

Quel modèle offre le meilleur rapport qualité-prix ?

Kimi K3 de Moonshot AI se distingue sur le rapport qualité-prix : un score de 17,56 pour $12,38, soit environ la moitié du meilleur résultat pour un cinquième du prix. Parmi les modèles phares, GPT-5.6 Sol en mode intermédiaire offre le meilleur équilibre, avec 25,10 pour $17,95.