Un product manager sans expérience en SOC décroche la première place de BlueSec1 avec un agent IA de triage

Le principe de la compétition BlueSec1 est simple : construire un agent IA qui traite les alertes à la place d'un analyste de premier niveau de SOC. Elle comporte quatre étapes. L'auteur du récit publié sur Habr est un spécialiste produit du département de gestion des vulnérabilités ; le traitement des alertes ne fait pas partie de son travail. Son premier message à son partenaire IA était : « je ne comprends pas l'intérêt de tout ça, explique-moi ». Il a pourtant pris la première place de l'étape ouverte. Puis, écrit-il, les scores ont été « annulés ».

L'article sur Habr est publié sous la forme d'un témoignage de participant. L'annonce dont nous disposons ne contient ni métriques de précision, ni description de l'architecture de l'agent, ni composition du jury. Ce qui suit se limite à ce qui y est affirmé, et au contexte dans lequel cette histoire se lit.

Quel problème cherche-t-on à résoudre ?

Le premier niveau de SOC (security operations center) assure le triage. L'analyste reçoit une alerte d'un SIEM, d'un EDR ou d'un autre système, examine le contexte et tranche : la clore comme faux positif, l'escalader ou demander des données complémentaires. Le travail est monotone, volumineux et se prête mal à un passage à l'échelle avec des humains. C'est précisément pour cette raison qu'on tente en premier de le confier à des agents LLM.

Le format de BlueSec1 teste dans quelle mesure un agent peut tenir ce rôle. Le participant ne se contente pas de brancher un modèle : il doit décrire comment celui-ci raisonne sur une alerte, quelles données il demande et à quel moment il s'arrête.

Pourquoi l'histoire de l'auteur est révélatrice

Le fait central n'est pas la place au classement, mais le profil du vainqueur de l'étape ouverte. Une personne sans expérience du traitement des alertes a obtenu un agent fonctionnel, parce qu'elle a utilisé l'IA à la fois comme exécutant et comme guide du domaine. La première réplique, « explique-moi l'intérêt », a lancé le processus : le modèle met d'abord l'auteur au courant du sujet, puis les deux construisent la solution ensemble.

Cela soulève une question gênante : que mesure exactement la compétition ? Si un novice devance des spécialistes à l'étape ouverte, soit les tâches de l'étape se formalisent bien et se prêtent aux prompts, soit la métrique n'évalue pas tout ce qui compte dans un SOC réel. L'auteur lui-même laisse entrevoir le problème : après la première place, les scores ont été « annulés ». Ce que cela signifie concrètement (recalcul, remise à zéro ou changement de méthodologie) n'apparaît pas clairement dans l'annonce. Pour le savoir, il faut lire le texte complet.

Ce que dit l'annonce

• Format : compétition BlueSec1 de création d'un agent IA pour le premier niveau de SOC.
• Structure : quatre étapes.
• Mission de l'agent : traiter les alertes à la place d'un analyste L1.
• Auteur : spécialiste produit en gestion des vulnérabilités, sans pratique du traitement des alertes.
• Résultat : première place à l'étape ouverte.
• Suite : les scores ont été « annulés », détails dans l'article complet.

Ce qu'il faut en retenir

Pour une équipe qui envisage l'IA dans un SOC, cette histoire apporte trois enseignements utiles.

Premièrement : testez l'agent en pilote sur des alertes dont le verdict est connu. Si le vainqueur de l'étape ouverte peut être un novice, il faut aussi vérifier, sur vos propres données, que l'agent ne s'ajuste pas à la réponse attendue.

Deuxièmement : regardez comment l'évaluation est construite. Un classement unique fondé sur les alertes correctement closes masque le coût de l'erreur. Un incident manqué et une escalade inutile ne coûtent pas du tout le même prix, et une métrique honnête les distingue.

Troisièmement : utilisez l'IA pour entrer dans le domaine, comme l'a fait l'auteur. Demandez au modèle d'expliquer comment l'analyste prend sa décision et consignez-le dans les instructions de l'agent. Mais la logique finale d'escalade doit être validée par une personne du SOC.

Le récit complet des quatre étapes, et de ce qui est arrivé aux scores, est à lire dans l'article original sur Habr.