OpenAI lance Safety Bug Bounty pour les vulnérabilités des systèmes d'AI agentique

OpenAI a annoncé un programme Safety Bug Bounty — une piste spécialisée au sein de son système existant de récompenses pour les vulnérabilités, axée non pas sur les bugs logiciels classiques, mais sur les risques uniques des systèmes d'IA. Les chercheurs en sécurité qui découvrent et documentent les vulnérabilités dans les produits de l'entreprise pourront recevoir des récompenses monétaires via la plateforme Bugcrowd. La distinction principale du Safety Bug Bounty par rapport aux programmes standards de bug bounty réside dans l'objet de la recherche.

Les campagnes traditionnelles de bug bounty recherchent les injections SQL, les vulnérabilités d'authentification ou les problèmes d'infrastructure serveur. Le nouveau programme se concentre sur trois vecteurs spécifiques aux modèles de langage : l'abus de capacités d'IA (contournement des filtres de sécurité, utilisation du modèle pour des tâches interdites), l'injection de prompts et les fuites de données du contexte de conversation ou des instructions système. Une attention particulière est accordée à l'accent sur les vulnérabilités des agents.

Au cours des dix-huit derniers mois, OpenAI a activement déployé des produits d'agents — Operator, Deep Research, Responses API avec des outils de navigation et d'opérations sur fichiers. Un agent qui visite indépendamment des sites web, effectue des recherches et exécute du code a une surface d'attaque fondamentalement plus grande qu'un chatbot. Une page web ou un document spécialement préparé peut contenir des instructions cachées que le modèle percevra comme des commandes de l'utilisateur — et les exécutera.

Cette classe d'attaques s'appelle injection indirecte de prompt. L'essence : l'attaquant ne s'adresse pas au modèle directement, mais incorpore des instructions malveillantes dans le contenu que l'agent traite comme des données. Par exemple, visiter un site web compromis pourrait faire envoyer un email au nom de l'utilisateur par l'agent, copier des données confidentielles ou modifier les paramètres des services connectés.

L'attaque fonctionne précisément parce que de nombreux modèles ne distinguent pas entre les instructions système de confiance et le contenu externe non fiable. Le problème de la fuite de données dans le contexte LLM nécessite également des méthodes de test spécifiques. Il ne s'agit pas de violations de serveurs, mais de situations où le modèle révèle involontairement le contenu du prompt système, reproduit les données d'autres utilisateurs via des mécanismes de mémoire ou permet la reconstruction de fragments de l'ensemble de données d'entraînement via des requêtes ciblées.

Les outils de test de pénétration traditionnels ne conviennent pas à ces tâches — une expertise spécialisée est nécessaire. En créant une piste séparée avec ses propres règles d'évaluation et de paiement, OpenAI reconnaît de facto que les menaces spécifiques à l'IA nécessitent une méthodologie séparée. Ceci s'aligne avec la position des laboratoires de premier plan : Anthropic mène régulièrement des red-teaming avant la sortie de nouveaux modèles, Google DeepMind publie des recherches sur la sécurité des systèmes d'agents, et les régulateurs aux États-Unis et dans l'UE commencent à exiger la preuve de tests systématiques.

La signification pratique du programme réside dans l'amplification. Les équipes de sécurité internes sont limitées en nombre et sujettes aux points aveugles. La communité externe des chercheurs est capable de découvrir des vecteurs d'attaque que les initiés ont manqués, en particulier avec des entrées non standard.

Pour les utilisateurs de produits d'agents, cela signifie des tests plus systématiques des systèmes auxquels ils accordent l'accès à leurs navigateurs, fichiers et comptes.