Pourquoi les bots fondés sur des LLM protégés se font souvent pirater : analyse de 14 000 GPT

Un LLM de base sûr ne garantit pas un bot sûr. Un paradoxe ? Non, simplement une question d'architecture. Quand on prend un modèle protégé comme GPT ou Claude, qu'on l'enveloppe dans un system prompt et qu'on y ajoute du RAG, des outils et des API, une nouvelle surface d'attaque apparaît. On l'appelle la couche d'orchestration (orchestration layer), et c'est là que des bots sont piratés, alors même que le modèle est protégé.

Comment le modèle de base est protégé

Les LLM de base suivent un solide entraînement à la sécurité : leurs concepteurs leur apprennent à refuser les requêtes dangereuses. Les équipes d'OpenAI, d'Anthropic et d'autres passent des mois à faire comprendre au modèle quelles demandes ne sont pas sûres. S'y ajoute le RLHF (apprentissage par renforcement à partir de retours humains), qui aligne le modèle sur les préférences humaines concernant ce qui est éthique ou non. Résultat : si vous demandez directement à GPT de pirater un site ou de livrer des données personnelles, il refusera.

Où les problèmes commencent

Mais dès que vous enveloppez le modèle dans un bot, qu'il s'agisse d'un bot Telegram, d'une application web ou d'un agent IA, vous ajoutez toute une couche de composants, chacun potentiellement risqué :

• System prompts : des instructions données au bot, qui écrasent parfois l'entraînement du modèle et peuvent faire l'objet d'injections
• Mémoire de conversation : l'historique des requêtes, qui grossit et peut servir à une attaque contextuelle
• RAG (Retrieval-Augmented Generation) : des bases de données et documents externes qui peuvent être pollués par de fausses données
• Outils et appels de fonctions : un accès direct aux API, à la messagerie, aux bases de données et aux systèmes de paiement
• Logique de webhooks et services externes : des sources de données non fiables qui peuvent être compromises

Chaque couche ajoute un nouveau vecteur d'attaque. Un system prompt peut subir une injection via la saisie de l'utilisateur. La mémoire de conversation peut être encombrée de motifs de prompt injection. Le RAG peut renvoyer des données empoisonnées issues d'une source compromise. Les outils peuvent servir à contourner les restrictions du modèle.

Ce qu'a montré l'analyse

Des chercheurs d'arXiv ont analysé 14 904 GPT personnalisés, des agents publics créés par des utilisateurs sur la plateforme d'OpenAI. Résultat : l'immense majorité est vulnérable à des attaques élémentaires sur la couche d'orchestration. L'attaquant n'a pas besoin de pirater le modèle lui-même : il lui suffit d'injecter le system prompt ou d'empoisonner une source de RAG.

La plupart des vulnérabilités ne se trouvent pas dans le modèle, mais dans la manière dont on l'enveloppe.

Autrement dit, vous pouvez utiliser le LLM le plus sûr de la planète : une architecture inadaptée anéantira ses avantages. Les bots s'affaiblissent à l'échelle, car chaque nouveau composant ajoute de la complexité et de nouveaux points d'entrée.

Ce que cela signifie

Sécuriser un bot IA ne se limite pas au choix du modèle : c'est un chantier d'architecture global. Il faut protéger les system prompts contre les injections, valider les données d'entrée, contrôler les sources de RAG, limiter les droits des outils et journaliser toutes les actions. Faute de quoi, un beau LLM devient une belle faille de sécurité.