Positive Technologies dresse la liste des meilleurs benchmarks pour évaluer les LLM en cybersécurité

Positive Technologies a publié une analyse détaillée des benchmarks ouverts destinés à évaluer les grands modèles de langage sur des tâches de cybersécurité. Sa conclusion est simple : tester un LLM uniquement sur sa connaissance des termes, des normes et des CVE n'a presque plus de sens. Sur ce terrain, même des modèles relativement petits battent systématiquement les humains.

Les vraies différences entre systèmes apparaissent ailleurs, sur des tâches où il ne s'agit pas de réciter des définitions mais d'agir : enquêter sur des incidents, résoudre des CTF, rechercher des vulnérabilités et écrire des correctifs. L'auteur propose de répartir ces tests en deux catégories. La première regroupe les benchmarks encyclopédiques, où le modèle répond à des questions de cryptographie, de sécurité réseau, de conformité, sur MITRE ATT&CK, les CVE et d'autres sujets.

La seconde réunit les benchmarks de compétences, ou benchmarks d'action, qui attendent du modèle un résultat concret. L'exemple le plus parlant du premier groupe est CyberMetric. Il compte 10 000 questions réparties sur sept domaines, et même d'anciens modèles comme gpt-3.

5-turbo y obtenaient environ 85 %, contre près de 75 % pour des spécialistes expérimentés. Selon l'auteur, ce test sert aujourd'hui surtout pour les petits modèles, la quantification spécialisée par domaine et les scénarios de sanity check rapides. SECURE, construit à partir de MITRE ATT&CK, des CVE, des CWE et de la CISA, est un peu plus exigeant.

Il ne vérifie pas seulement la connaissance des faits, mais aussi la capacité à évaluer un risque, à juger de la justesse d'affirmations sur des vulnérabilités précises et à calculer un score CVSS. La revue place encore plus haut, en termes de valeur pratique, AthenaBench, version actualisée du populaire CTIBench dédié à la cyber threat intelligence. Ce benchmark vérifie si le modèle sait extraire des techniques d'attaque, rapprocher CVE et CWE, prédire la severity et proposer une stratégie de réduction du risque.

GPT-5 y arrive en tête avec 66,1 %, et l'activation de la recherche web lui a apporté un gain supplémentaire sur les scénarios complexes. L'observation compte : même les modèles puissants ont besoin de contexte externe, et en sécurité appliquée ce mode de fonctionnement se rapproche davantage du travail d'un véritable analyste qu'un test purement offline. Dans la catégorie action, l'auteur distingue CyBench comme l'un des tests ouverts les plus solides.

Il déploie de véritables épreuves CTF dans un environnement isolé et ne se contente pas de vérifier le flag final : il mesure aussi à quel point l'agent s'est approché de la bonne solution. Au moment de la revue, Claude Opus 4.6 menait le classement public avec 93 %, suivi de Claude 4.

5 Sonnet et de Grok 4. Le score absolu n'est pas seul à compter : la vitesse de progression aussi. En quelques générations de modèles seulement, la part de tâches résolues est passée d'environ 20 % à plus de 80 %.

Il ne s'agit plus d'une simple démonstration de capacités générales, mais du signe que les LLM agentiques commencent à devenir réellement utiles pour des scénarios offensifs et de recherche. Pour mesurer l'utilité concrète sur les vulnérabilités, l'auteur recommande en outre BountyBench. Les tâches y sont évaluées selon leur valeur potentielle sur les plateformes de bug bounty : le modèle doit trouver une vulnérabilité, construire un exploit ou écrire un correctif, tandis que les chercheurs calculent en parallèle le coût d'exécution en tokens.

On constate sur cet échantillon que les LLM réussissent plus facilement le patching que la détection des bugs elle-même. ExCyTIn-Bench se rapproche encore davantage de la défense réelle : l'agent accède aux logs et reconstitue une attaque pas à pas à l'aide de requêtes SQL. Claude Opus 4.

5, GPT-5.1 et GPT-5 y occupent la tête, mais l'essentiel est ailleurs : l'architecture de l'agent et des patterns comme ReAct améliorent nettement les résultats, même pour des modèles plus faibles. Autrement dit, dans les tâches de SOC, le modèle de base ne décide pas de tout : la manière dont la chaîne de travail est construite autour de lui pèse aussi lourdement.

La revue ne cherche pas pour autant à présenter le marché comme un système ordonné et mature. Au contraire, l'un de ses principaux griefs porte sur le chaos du paysage des benchmarks lui-même. Certains jeux de données vieillissent vite, d'autres dépendent trop d'une langue ou d'un public précis, comme SecBench, fortement orienté vers la Chine, d'autres encore pâtissent d'une préparation médiocre des données sources.

CyberSOCEval est cité comme exemple de cette approche discutable : il convainc peu en tant que benchmark à part entière, même si sa partie consacrée à de véritables traces sandbox de logiciels malveillants peut servir de dataset utile aux équipes EDR, antivirus et d'analyse. La conclusion pratique de la revue est la suivante : pour comparer rapidement et clairement des LLM en cybersécurité, le socle minimal doit associer CyberMetric et AthenaBench pour les connaissances, CyBench et ExCyTIn-Bench pour les compétences pratiques, et BountyBench lorsque l'impact économique compte. Le principal changement de cadre a déjà eu lieu : la question n'est plus de savoir si le modèle maîtrise les bases du manuel, mais s'il sait travailler efficacement dans un environnement fait de logs bruités, d'attaques en plusieurs étapes, de données ambiguës et d'erreurs coûteuses.

C'est là que se jouera la valeur réelle des LLM pour la cybersécurité.