Sécurité des agents IA en production : guide pratique du Red Teaming

Un agent n'est pas un chatbot. C'est un système doté d'un accès à des outils, à des services et à des données d'entreprise. Une erreur du modèle dans un chat isolé est une gêne. Une erreur d'un agent ayant accès à la messagerie et aux documents est une fuite de données potentielle, ou un incident de réputation ou financier.

En quoi le Red Teaming d'un agent est différent

Le Red Teaming des LLM se concentre sur le modèle de langage lui-même : on teste le prompt injection, le jailbreak et les hallucinations. Si le modèle répond de travers, le problème est local.

Le Red Teaming d'un agent est une tout autre affaire. Ici, on vérifie toute la pile : le modèle, les outils (tools), les API externes, les intégrations avec les systèmes d'entreprise et la logique d'acheminement des requêtes. Un agent peut répondre correctement aux questions, mais se tromper d'outil, mal transmettre les paramètres ou oublier de vérifier les droits d'accès. Et soudain, l'agent accomplit une action qu'il n'aurait jamais dû accomplir. Une seule erreur dans cette chaîne, c'est un incident.

Doubletapp a mis au point une méthodologie de Red Teaming qui couvre les deux niveaux : les vulnérabilités du modèle lui-même, plus celles de son intégration avec le monde extérieur.

Promptfoo : de la théorie à la pratique

Promptfoo est un framework d'automatisation du Red Teaming. Vous définissez des scénarios de test (attack scenarios), un ensemble de prompts dangereux et des règles d'évaluation des résultats. L'outil exécute ces tests contre votre agent et génère un rapport indiquant quelles attaques ont réussi.

Le workflow de base est simple :

• décrivez le comportement que vous voulez protéger ;
• rédigez des scénarios de test, c'est-à-dire des tentatives pour pousser l'agent à enfreindre ce comportement ;
• lancez Promptfoo, qui exécute automatiquement tous les tests ;
• consultez le rapport pour repérer les failles ;
• corrigez la vulnérabilité et recommencez.

L'outil s'intègre avec OpenAI, Anthropic, Claude et d'autres modèles. Tous les logs sont transparents, détaillés et faciles à analyser.

Quelles vulnérabilités chercher

En pratique, Doubletapp a rencontré des catégories de problèmes récurrentes :

• Autorisation incorrecte des tools : l'agent choisit le bon outil, mais ne vérifie pas si l'utilisateur a le droit d'effectuer cette opération
• Confusion de paramètres : l'agent transmet user_id au lieu de admin_id à cause d'un nommage ambigu dans la spécification de l'API
• Attaques en chaîne : une petite erreur plus une autre petite erreur donnent au total un contournement complet du système
• Ingénierie sociale via le modèle : un attaquant fait croire à l'agent qu'il est autorisé alors qu'il ne l'est pas
• Fuite de contexte via les logs : l'agent journalise des données sensibles qu'un autre utilisateur voit ensuite

« C'est la première étape d'un processus, pas le produit final », dit-on à peu près de n'importe quel Red Teaming.

Le premier tour de tests révélera des failles qu'il faudra ensuite colmater vague après vague.

Ce que cela signifie

Le Red Teaming sort des laboratoires pour entrer dans la réalité opérationnelle. Si vous avez déjà lancé un agent en production, il vous faut un système qui cherche en permanence des vulnérabilités. Promptfoo est l'un des outils que l'on peut déployer dès maintenant et utiliser sur sa propre pile.

Les entreprises commencent à exiger non seulement des fonctionnalités, mais aussi une preuve de sécurité. Et cette exigence est juste, car les enjeux sont élevés.