INFERA AI.SafeCode regroupe 8 scanners en une carte d'attaque et soumet les chatbots à des attaques
Un rapport de sécurité peut contenir une centaine de vulnérabilités sans qu'on sache jusqu'où un attaquant peut aller depuis l'extérieur. INFERA AI.SafeCode réunit les données de huit scanners dans une seule carte, depuis l'endpoint public jusqu'à l'opération dangereuse en passant par le code. Le module AI Red Team envoie des requêtes d'attaque à un chatbot et calcule la part des attaques réussies (ASR). Il faut donc corriger d'abord les failles situées sur un chemin accessible, et bloquer la mise en production lorsque l'ASR augmente.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez un rapport de sécurité : plus d'une centaine de vulnérabilités, chacune avec un numéro CWE, un fichier, une ligne et un niveau de criticité. Par où commencer ? Une faille dans un module abandonné et une faille identique dans un endpoint public ont la même apparence dans le tableau, alors que leur risque n'est pas le même.
Les développeurs de la plateforme russe INFERA AI.SafeCode ont expliqué sur Habr comment ils résolvent ce problème. Première approche : réunir les données de huit scanners dans une seule carte de la surface d'attaque, c'est-à-dire de tout ce qu'un attaquant peut atteindre depuis l'extérieur.
Deuxième approche : AI Red Team, une vérification automatique d'un chatbot ou d'un assistant en fonctionnement, au moyen d'un flux de requêtes d'attaque, où la métrique principale est l'ASR (attack success rate), qui mesure la part des attaques réussies.
De la liste des failles à la carte d'accessibilité
Les huit scanners sont le SAST (analyse du code source), le SCA (vérification des dépendances open source), la recherche de secrets, le DAST (test de l'application en fonctionnement), le Pentest (agent IA imitant un pentest manuel), le Code Fuzzing (recherche de plantages et de cas limites), l'API Fuzzing (REST, GraphQL, gRPC et WebSocket) et le scan MLSecOps, qui identifie la composition du système d'IA et recherche des défauts dans ses composants. Les auteurs eux-mêmes reconnaissent que huit scanners dans un seul produit ne constituent pas un avantage en soi. La valeur réside dans le lien entre les résultats : une faille dans le code est rattachée à un endpoint, l'endpoint à la surface externe, et le statut d'une vérification à un passage précis et à sa date.
La coupe la plus utile est la chaîne « entrée → chemin → sink ». Le sink désigne ici l'opération dangereuse : requête SQL, exécution de commande, désérialisation non sécurisée, exposition de données sensibles. Supposons que vous ayez une centaine de failles. Si un chemin mène de l'API publique jusqu'au gestionnaire vulnérable, on la traite en premier. S'il n'existe pas de chemin, elle descend plus bas dans la file. Le graphe d'appels montre aussi la concentration du risque, par exemple plusieurs endpoints publics partageant le même gestionnaire dangereux.
Les blind spots, c'est-à-dire ce qui n'a pas été vérifié, font l'objet d'un traitement à part. Un rapport vide ne signifie pas que le système est sûr si le DAST n'a pas été lancé après un changement de routes, si le SCA analyse un instantané obsolète des dépendances, ou si l'API fuzzing ignore les nouvelles méthodes. La métrique de couverture doit donc répondre non seulement à la question « combien a été analysé », mais aussi à « quels chemins importants n'ont pas été vérifiés ».
Comment on teste une application LLM
Un service web classique a une requête, une réponse et un comportement attendu. Pour une application LLM, le résultat dépend du modèle, du prompt système, des outils, des données de retrieval et même de la formulation de la question. La vulnérabilité ne se manifeste pas par la chute d'un processus, mais par un comportement incorrect. L'assistant révèle ses instructions système. Une règle de protection est contournée par une reformulation ou un dialogue en plusieurs étapes. Le modèle appelle un outil avec des paramètres dangereux ou répond avec assurance sans confirmation. Les scanners classiques ne détectent rien de tout cela.
AI Red Team envoie au chatbot un corpus de requêtes d'attaque. Il s'agit d'un ensemble de scénarios versionné, et non d'une saisie manuelle dans l'interface. En parallèle, on peut exécuter un corpus de qualité : des questions accompagnées de réponses de référence. Il sert à vérifier non seulement si le modèle a résisté, mais aussi s'il ne répond pas moins bien au fond.
La plateforme calcule cinq indicateurs :
- ASR — part des attaques réussies ;
- citation rate — part des réponses comportant la référence requise à la source ;
- grounded rate — part des réponses fondées sur les données autorisées ;
- hallucination rate — part des réponses contenant des hallucinations ;
- ASR drift — évolution du taux de réussite des attaques par rapport à la référence.
La référence est le comportement figé de la version précédente. Elle ne sert pas à déclarer le système « sûr une fois pour toutes », mais à détecter les régressions. Si l'ASR augmente après un changement de modèle, de prompt ou d'index de retrieval, c'est un signal de risque, même lorsque la valeur absolue reste conforme à la politique.
Comment déployer sans interrompre le pipeline
Tant que les seuils ne sont pas définis, l'exécution reste une simple mesure. Dès qu'un seuil défini est dépassé, l'exécution renvoie une erreur de quality gate (contrôle qualité à la sortie du build), et la mise en production peut être arrêtée. Les auteurs recommandent d'avancer par étapes. D'abord une observation sur un banc de test. Ensuite une politique souple, où les métriques apparaissent dans la CI sans bloquer le build. Les blocages stricts ne sont activés que pour les classes d'attaques critiques. Enfin, le corpus est régulièrement enrichi d'incidents réels et des résultats des vérifications manuelles.
Le seuil « ASR égal à zéro » paraît rigoureux, mais il n'est pas réaliste pour un large corpus comportant des scénarios ambigus. Il est plus pragmatique de répartir les attaques par classes et de bloquer la mise en production uniquement sur celles qui sont critiques pour votre activité. Il faut aussi se mettre d'accord à l'avance sur ce qui constitue une attaque réussie. Pour une application, il suffit de ne pas divulguer un secret ; pour une autre, il faut s'assurer que le modèle n'a pas appelé un outil ni modifié un enregistrement.
Ce qu'il faut prendre en compte
Le matériau a été rédigé par les développeurs de la plateforme eux-mêmes. Il ne contient ni mesures indépendantes, ni chiffres sur les faux positifs, ni coût des exécutions. Le graphe d'accessibilité ne remplace pas une analyse manuelle de la logique métier.
La conclusion pratique reste utile en dehors de ce produit précis. Conservez les corpus d'attaque et d'évaluation à côté du code. Rattachez les résultats au commit et à la version du modèle. Relancez le Red Team après chaque changement de modèle, de prompt, d'index ou de jeu d'outils. Priorisez les failles selon leur accessibilité. Pour les équipes qui livrent des fonctionnalités LLM, c'est un moyen de transformer la sécurité, d'une simple « approbation avant publication », en un test reproductible à chaque version.
- 22 nov. 2026Le projet personnel de LangChain est devenu une start-up valorisée 3 milliards de dollars en quatre ans et a levé 300 millions
- 22 nov. 2026Databricks en discussion pour une levée valorisant l'entreprise à 225 milliards de dollars, près de 20 % de plus qu'en août
- 22 nov. 2026Signal bloque les captures d'écran sur Android et iOS : les agents IA du système peuvent lire l'écran des conversations
- 21 nov. 2026Quatre règles de Karpathy pour un agent de code dans un seul fichier ont récolté 232 000 étoiles sur GitHub
Questions clés sur cet article
Que sait-on sur De la liste des failles à la carte d'accessibilité ?
Les huit scanners sont le SAST (analyse du code source), le SCA (vérification des dépendances open source), la recherche de secrets, le DAST (test de l'application en fonctionnement), le Pentest (agent IA imitant un pentest manuel), le Code Fuzzing (recherche de plantages et de cas limites), l'API Fuzzing (REST, GraphQL, gRPC et WebSocket) et le scan MLSecOps, qui identifie la composition du système d'IA et recherche des défauts dans ses composants.
Comment on teste une application LLM?
Un service web classique a une requête, une réponse et un comportement attendu. Pour une application LLM, le résultat dépend du modèle, du prompt système, des outils, des données de retrieval et même de la formulation de la question. La vulnérabilité ne se manifeste pas par la chute d'un processus, mais par un comportement incorrect. L'assistant révèle ses instructions système. Une règle de protection est contournée par une reformulation ou un dialogue en plusieurs étapes.
Comment déployer sans interrompre le pipeline?
Tant que les seuils ne sont pas définis, l'exécution reste une simple mesure. Dès qu'un seuil défini est dépassé, l'exécution renvoie une erreur de quality gate (contrôle qualité à la sortie du build), et la mise en production peut être arrêtée. Les auteurs recommandent d'avancer par étapes. D'abord une observation sur un banc de test. Ensuite une politique souple, où les métriques apparaissent dans la CI sans bloquer le build. Les blocages stricts ne sont activés que pour les classes d'attaques critiques.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.