OpenAI lance Safety Bug Bounty contre les failles des systèmes d'IA agentiques

OpenAI a annoncé Safety Bug Bounty, un volet spécialisé de son système existant de récompenses pour les vulnérabilités. Il ne vise pas les bugs logiciels classiques, mais les risques propres aux systèmes d'IA. Les chercheurs en sécurité qui découvrent et documentent des failles dans les produits de l'entreprise pourront toucher une récompense financière via la plateforme Bugcrowd.

La différence essentielle avec les programmes standard tient à l'objet de la recherche. Les bug bounties traditionnels traquent les injections SQL, les failles d'authentification ou les problèmes d'infrastructure serveur. Le nouveau programme se concentre sur trois vecteurs propres aux modèles de langage : l'usage abusif des capacités de l'IA (contourner les filtres de sécurité, employer le modèle pour des tâches interdites), les injections de prompts et les fuites de données issues du contexte de la conversation ou des instructions système.

L'accent mis sur les vulnérabilités agentiques retient l'attention. Depuis un an et demi, OpenAI déploie activement des produits agentiques : Operator, Deep Research, ainsi que la Responses API dotée d'outils pour le navigateur et le travail sur les fichiers. Un agent qui visite des sites, lance des recherches et exécute du code de manière autonome présente une surface d'attaque nettement plus large qu'un chatbot. Une page web ou un document spécialement conçu peut contenir des instructions cachées que le modèle prendra pour des ordres de l'utilisateur, avant de les exécuter. Cette classe d'attaques s'appelle l'indirect prompt injection.

Le principe : l'attaquant ne s'adresse pas directement au modèle, il glisse des instructions malveillantes dans un contenu que l'agent traite comme des données. Par exemple, la visite d'un site compromis peut conduire l'agent à envoyer un e-mail au nom de l'utilisateur, à copier des données confidentielles ou à modifier les paramètres de services connectés. L'attaque fonctionne précisément parce que de nombreux modèles ne distinguent pas les instructions système de confiance du contenu externe non fiable.

La fuite de données dans le contexte d'un LLM exige elle aussi des méthodes de test spécifiques. Il ne s'agit pas de pirater des serveurs, mais de situations où le modèle révèle involontairement le contenu du prompt système, reproduit les données d'autres utilisateurs via les mécanismes de mémoire ou permet de reconstituer des fragments du jeu d'entraînement par des requêtes ciblées. Les outils classiques de test d'intrusion ne sont pas adaptés à ces tâches : une expertise spécialisée est nécessaire.

En créant un volet distinct, avec ses propres règles d'évaluation et de paiement, OpenAI reconnaît de facto que les menaces propres à l'IA appellent une méthodologie à part. Cela rejoint la position des principaux laboratoires : Anthropic pratique régulièrement le red-teaming avant la sortie de nouveaux modèles, Google DeepMind publie des recherches sur la sécurité des systèmes agentiques, et les régulateurs américains et européens commencent à exiger des preuves de vérifications systématiques.

L'intérêt pratique du programme réside dans le passage à l'échelle. Les équipes de sécurité internes sont limitées en nombre et sujettes aux angles morts. La communauté externe de chercheurs peut détecter des vecteurs d'attaque que les équipes internes ont manqués, surtout avec des entrées atypiques. Pour les utilisateurs de produits agentiques, cela signifie des tests plus systématiques de systèmes auxquels ils confient l'accès à leur navigateur, leurs fichiers et leurs comptes.