Yandex Cloud a expliqué comment déployer des agents AI en sécurité de l'information sans faux blocages ni pannes

Yandex Cloud a décrit comment les agents d'IA peuvent devenir des assistants utiles pour le SOC, mais ne doivent pas recevoir le droit d'exécuter des actions critiques sans contrôle humain. Dans une analyse publiée sur Habr, l'équipe a montré deux scénarios : dans l'un, l'agent économise des dizaines de minutes à l'analyste, dans l'autre — isole à tort le contrôleur de domaine et arrête les opérations de l'entreprise.

Pourquoi le SOC est surchargé

Un SOC moderne fonctionne en mode de bruit constant : un analyste peut recevoir jusqu'à 1 000 alertes par jour, et jusqu'à 95 % d'entre elles s'avèrent être de faux positifs. Dans ce contexte, l'idée de déléguer le tri primaire et la corrélation à l'IA semble presque inévitable. L'agent peut rapidement analyser les journaux, décoder les commandes, extraire le contexte du SIEM et corréler les événements avec le framework MITRE ATT&CK.

Là où une personne passerait des dizaines de minutes de travail concentré, le modèle peut fournir une réponse préliminaire en quelques secondes. Mais Yandex Cloud avertit : le potentiel d'automatisation est supérieur à la fiabilité réelle de tels systèmes. L'auteur cite une étude de mars 2024 d'Anthropic où, pour les professions en informatique et mathématiques, l'automatisation théorique des tâches atteint 94 %, mais le taux observé n'est qu'environ 33 %.

Cet écart démontre l'essentiel : l'IA est déjà utile, mais ne peut pas être considérée comme un employé autonome mature. Surtout en cybersécurité, où une erreur dans l'interprétation d'un événement peut coûter non seulement une fausse alerte, mais l'arrêt de services critiques.

Où l'agent se trompe

L'exemple clé de l'article tourne autour d'une alerte sur le contrôleur de domaine DC01. Dans le scénario sûr, l'agent reçoit un signal d'exécution suspecte de PowerShell, décode la commande Base64, comprend qu'il s'agit d'une énumération des membres de Domain Admins et la relie à la technique de reconnaissance des privilèges. Il vérifie ensuite les politiques internes, remarque que DC01 est classé comme Tier-0, collecte des événements supplémentaires uniquement dans une fenêtre de temps étroite et, au lieu d'une action automatique, génère un rapport pour l'analyste SOC avec confirmation obligatoire de human-in-the-loop.

Dans le mauvais scénario, tout se casse non pas à l'entrée, mais dans le raisonnement. L'agent corrèle les événements de manière trop grossière — par temps et nœud, plutôt que par identificateurs de session et chaîne de processus. De ce fait, il relie une requête DNS sans rapport à l'activité PowerShell, interprète la situation comme du C2 ou de l'exfiltration et décide d'isoler DC01. Pour un contrôleur de domaine, c'est une catastrophe : Kerberos et LDAP tombent, les services associés s'arrêtent et l'entreprise subit une panne due à la conclusion erronée du modèle.

«

Vous devez accepter que les modèles hallucinent et peuvent se tromper », écrit Sergey Nesteruk.

Quelles barrières sont nécessaires

Le point principal de l'article est que la lutte ne doit pas être contre la possibilité d'hallucination en elle-même, mais contre les conséquences de l'erreur. LLM n'opère pas avec la vérité comme le ferait un analyste et, dans des conditions d'incertitude, essaie souvent de deviner plutôt que d'honnêtement dire « je ne sais pas ». Par conséquent, un agent d'IA de confiance en cybersécurité n'est pas un modèle unique, mais un ensemble de contraintes externes autour de celui-ci : validation de l'entrée, contrôle de la mémoire, permissions d'outils strictes, audit et une couche d'approbation humaine où le coût de l'erreur est trop élevé.

• filtrage des données d'entrée et protection contre l'injection de prompt
• RAG avec une base de connaissances à jour, RBAC, reranking et vérification des conflits
• pare-feu de raisonnement : superviseur, décomposition de tâches, vérification croisée et évaluation de la confiance
• limitation des actions sur Tier-0, politique d'abstention et human-in-the-loop obligatoire

Yandex Cloud recommande de mettre en œuvre de tels systèmes par étapes. Comme ligne directrice pratique, l'équipe utilise AI-SAFE — un framework de modélisation des menaces pour les systèmes d'agents avec cinq niveaux : entrée utilisateur, orchestration du contexte, raisonnement du modèle, outils et bases de connaissances. D'abord — un assistant qui recherche les données, rassemble le contexte et réduit la charge cognitive de l'équipe. Ensuite — automatisation partielle avec confirmation humaine. Et ce n'est qu'après l'accumulation de journaux, de métriques de qualité, de scénarios d'échec clairs et d'une opération stable que l'agent peut recevoir des pouvoirs plus larges.

Ce que cela signifie

Le marché s'oriente vers le fait que l'IA en SOC devient une norme, mais les gagnants ne seront pas ceux qui activent d'abord l'agent en production, mais ceux qui l'entourent de garde-fous et laissent aux humains le droit de prendre la décision finale aux points critiques. Pour les entreprises, c'est une bonne orientation : vous pouvez déjà automatiser le travail de routine, mais automatiser la confiance — pas encore.