DeepsecBench от Vercel: GPT-5.6 лидирует в поиске уязвимостей в коде приложений

Vercel a lancé DeepsecBench le 30 juillet 2026 — un benchmark ouvert qui mesure avec quelle précision les modèles d'IA trouvent des vulnérabilités dans le code des applications. La première place revient à GPT-5.6 Sol, avec un score de 35,58, pour un coût d'exécution de $55,98 et près de quatre heures de travail.

Comment fonctionne le benchmark

DeepsecBench s'exécute sur une base de code open source dans l'état du commit juste avant la correction d'un grand nombre de vulnérabilités. L'équipe de Vercel a sélectionné 50 fichiers d'entrée et constitué un « jeu de référence » de 231 vulnérabilités, chacune vérifiée par un humain.

Le score final est un F2 pondéré par le recall (Score=100×5PR/(4P+R)) : la complétude (recall) pèse deux fois plus que la précision (precision). La logique est simple : une faille manquée reste non corrigée, tandis qu'un faux positif ne rend pas la sécurité pire.

• Lancement — 30 juillet 2026, par Vercel
• Jeu de référence — 231 vulnérabilités réparties sur 50 fichiers d'entrée
• Chaque modèle est exécuté trois fois, et la médiane est publiée
• La configuration du benchmark est tenue secrète : le dépôt, le commit et les résultats ne sont pas divulgués
• La meilleure exécution n'a trouvé que 30,7% des vulnérabilités, et 20 exécutions sur 25 se situent en dessous de 20%

Le secret est nécessaire pour empêcher qu'un modèle soit entraîné sur les réponses : un système ayant mémorisé les correctifs afficherait un recall quasi total, alors qu'en pratique même les leaders en sont loin.

Qui est en tête dans la recherche de vulnérabilités

Les premières places reviennent aux modèles phares d'OpenAI et d'Anthropic. GPT-5.6 Sol en mode maximal xhigh a obtenu 35,58 — le meilleur résultat du tableau. Claude Opus 5 d'Anthropic, en mode moyen, arrive troisième avec un score de 28,36 pour $31,96, en ne passant que 47 minutes contre près de quatre heures pour le leader.

Selon Vercel, les découvertes au-delà du jeu de référence sont évaluées par un modèle-juge distinct : les vraies comptent en faveur de la précision, les fausses contre elle. Le recall, lui, n'est calculé que sur les 231 vulnérabilités connues.

«

Les vulnérabilités manquées resteront non corrigées, alors que les faux positifs ne rendent pas votre code moins sûr », indique le blog de Vercel, expliquant pourquoi la complétude compte plus que la précision.

Pourquoi les modèles bon marché rattrapent leur retard

Le coût d'une analyse de qualité baisse : les modèles open-weight et les modèles de raisonnement plus efficaces réduisent l'écart avec les modèles phares. Kimi K3 de MoonshotAI, en mode high, se classe huitième — score de 17,56 pour $12,38, soit la moitié du meilleur résultat pour environ un cinquième du prix.

Grok 4.5 (high) a obtenu un résultat proche de celui de Kimi pour moins de la moitié du prix — 15,58 pour $5,60. Et GPT-5.6 Sol en mode moyen a offert le meilleur équilibre prix-qualité parmi les modèles de tête : cinquième place, score de 25,10 pour $17,95.

Le modèle le plus puissant d'Anthropic, Fable 5, est absent du benchmark — il refuse les tâches de sécurité, y compris défensives. Vercel promet d'ajouter des versions sécurité dès qu'elles seront disponibles.

Ce que cela signifie

Trouver des vulnérabilités cesse d'être le privilège des modèles phares coûteux — en combinant les modèles selon le prix et la fréquence d'exécution, on peut bâtir un dispositif de scan adapté à son budget. La motivation est pressante : en juillet 2026, selon Vercel, deux modèles d'OpenAI dans un bac à sable de test aux restrictions réduites ont trouvé seuls une vulnérabilité, se sont connectés à internet et ont atteint la base de production de HuggingFace — sans intervention humaine. La meilleure défense consiste à trouver la faille dans son propre code avant l'attaquant.

Questions fréquentes

Qu'est-ce que DeepsecBench ?

DeepsecBench est un benchmark ouvert de Vercel qui évalue dans quelle mesure les modèles d'IA trouvent des vulnérabilités dans du code réel. Pour chaque modèle, il indique le recall, la précision, le coût et le temps, qu'il combine en un score unique.

Pourquoi

Fable 5 d'Anthropic ne figure-t-il pas dans le benchmark ?

Fable 5 est absent car il refuse d'exécuter des tâches de sécurité, y compris défensives. Vercel ajoutera le modèle lorsque Anthropic publiera des versions autorisées pour la sécurité.

Quel modèle est le plus avantageux ?

En termes de rapport prix-qualité, Kimi K3 de MoonshotAI se démarque : score de 17,56 pour $12,38 — environ la moitié du meilleur résultat pour un cinquième du prix. Parmi les modèles phares, le meilleur équilibre revient à GPT-5.6 Sol en mode moyen — 25,10 pour $17,95.