CyberArena fait s'affronter 12 agents IA lors de 466 matchs d'attaque et de défense en temps réel

L'équipe de CyberArena a publié un benchmark dans lequel deux agents IA, enfermés dans des bacs à sable isolés, piratent en même temps le service de l'autre et réparent le leur. Au total, 12 agents LLM de pointe ont disputé 466 matchs sur 40 tâches. Selon les auteurs, là où les tests à un seul agent contre une cible statique ont déjà atteint leur plafond, l'arène continue de distinguer les modèles selon leur niveau. Le travail a été publié dans Hugging Face Daily Papers.

Pourquoi les tests statiques ne suffisent plus

La plupart des benchmarks de cybersécurité existants évaluent l'agent dans le vide. Il y a une cible vulnérable, elle ne change pas, et il faut la compromettre. Ces tests se saturent vite : les modèles atteignent des scores élevés et les écarts entre eux s'effacent. Surtout, ils ne mesurent pas l'essentiel. Dans les opérations réelles, la défense évolue chaque minute et l'attaquant s'adapte à ces changements.

CyberArena repose sur un schéma symétrique. Les deux agents jouent selon les mêmes règles, et chacun endosse simultanément les deux rôles : il attaque son adversaire et défend son propre service. Le combat se déroule en plusieurs rounds, et les services changent en permanence. La cible statique devient une tâche semi-ouverte, qui évalue la vitesse et la précision de trois actions : trouver une vulnérabilité, l'exploiter et la corriger par un correctif.

Pour que le benchmark ne devienne pas obsolète aussi vite que ses prédécesseurs, les auteurs ont intégré un pipeline agentique automatique. Il génère lui-même de nouveaux environnements, les vérifie et les valide. Les duels à deux posent un autre problème : leur issue se résume difficilement à un seul chiffre. Les chercheurs ont donc introduit un modèle dynamique. Il convertit le déroulement d'un match en évaluations multidimensionnelles unifiées portant sur l'attaque, la défense et les compétences par domaine.

Ce qu'ont montré les 466 matchs

L'ampleur de l'expérience en chiffres :

• 12 agents LLM de pointe ;
• 40 tâches (challenges) ;
• 466 matchs ;
• évaluation selon trois axes : attaque, défense, compétences par domaine ;
• format : symétrique, parallèle, multi-rounds, dans des bacs à sable isolés.

Le plus intéressant dans l'article, c'est le comportement des agents. Les auteurs écrivent que les trajectoires se lisent comme un affrontement, pas comme un examen. Les défenseurs faibles bouchent une brèche et laissent passer la suivante. Ils valident aussi leurs correctifs sur des données périmées : ils déclarent un service réparé sans vérifier qu'il est encore vulnérable à cet instant précis. Pour une défense en conditions réelles, c'est une erreur typique et coûteuse.

Les agents forts se comportent différemment. Ils anticipent d'un coup et laissent des backdoors qu'ils exploiteront dans les derniers rounds. Dans un cas, un agent a écrit son propre sniffer de paquets pour observer les actions de son adversaire. Personne ne lui avait demandé de créer un outil de reconnaissance : il a jugé qu'il ne s'en sortirait pas sans.

Il y a aussi des réserves. D'après le résumé, 466 matchs pour 12 modèles représentent peu de parties par paire. Si tous les modèles se sont affrontés, cela fait en moyenne environ sept matchs par paire. La robustesse des classements ne sera claire qu'à la lecture du texte complet et de la méthodologie du modèle dynamique. Les réseaux réels sont par ailleurs plus complexes que des bacs à sable dont l'ensemble de services est connu à l'avance.

Que faire pour les équipes qui développent des agents de sécurité

Premièrement, ne vous fiez pas aux résultats obtenus sur des jeux de tâches statiques. Un agent qui réussit des tests de type CTF n'est pas pour autant capable de tenir une défense quand l'adversaire change de tactique. Les scénarios dynamiques avec retour d'information sont plus proches de la réalité.

Deuxièmement, ajoutez au pipeline de l'agent défenseur une revérification obligatoire. Tout correctif doit être confirmé par une nouvelle tentative d'exploitation, et non par un ancien log. C'est précisément là, selon la description des auteurs, que les défenseurs faibles échouent.

Troisièmement, tenez compte du double usage. Un agent capable de poser des backdoors et d'écrire seul un sniffer exige une isolation stricte, une limitation des droits réseau et une journalisation complète de ses actions. Pour les chercheurs, CyberArena peut devenir une plateforme commune : les auteurs la présentent comme une plateforme expérimentale extensible pour de futurs travaux sur les agents cyber.