Les hackers apprennent à contourner la protection des chatbots IA en manipulant leurs « personnalités »

Pirater les premières générations de chatbots IA était ridiculement facile. Il ne fallait pas de compétences techniques, d'accès au code source ou de compréhension de l'architecture des modèles de langage. Parfois, il suffisait simplement de demander — et le système, qui coûtait des milliards de dollars, rejetait ses instructions de sécurité.

La génération des attaques jailbreak

Les premières tentatives de piratage s'appelaient des jailbreaks — elles fonctionnaient de manière directe. Les hackers demandaient simplement aux chatbots de faire quelque chose de dangereux, d'obscène ou d'interdit — et ceux-ci acceptaient souvent. Il n'y avait aucune magie, aucun stratagème comme l'injection SQL.

Juste une demande polie en anglais, et le système cédait. Cela a duré des mois. ChatGPT et les autres premiers modèles étaient étonnamment vulnérables — leurs instructions pouvaient littéralement être réécrites en une seule phrase.

La communauté des chercheurs en sécurité a rapidement accumulé une base de données de moyens de contourner la protection. Au fil du temps, la protection s'est améliorée, mais une nouvelle vague d'attaques a commencé à fonctionner selon un principe différent. Les chercheurs ont remarqué que chaque modèle de langage a sa propre « personnalité » — un ensemble unique de schémas comportementaux découlant de l'entraînement et de l'annotation des données.

Cette personnalité peut être étudiée et exploitée.

Attaques sur la personnalité

Au lieu de demandes directes, les hackers utilisent maintenant des techniques psychologiques qui exploitent les caractéristiques comportementales de chaque modèle :

• Inventer des histoires plausibles concernant la recherche, le débogage ou un projet éducatif
• Demander de jouer le rôle d'un personnage fictif sans restrictions (un super-héros, un scientifique, un assistant IA d'une autre entreprise)
• Utiliser la manipulation émotionnelle, la flatterie ou l'humour
• Déterminer lentement les limites par des questions d'essai, sans les violer immédiatement
• Refléter le langage, le vocabulaire et le style du modèle pour établir une « confiance »
• Faire référence à des scénarios hypothétiques, de la fiction ou des domaines académiques

Les chercheurs ont découvert que chaque modèle a son propre « talon d'Achille ». GPT-4 est généralement plus résistant grâce à un meilleur entraînement sur les exemples adversariaux. Mais Claude, Gemini et Meta LLaMA restent vulnérables, surtout si l'attaque est construite selon leur personnalité spécifique — leur ton, leurs préférences dans les explications, leur tendance à aider.

Pourquoi cela fonctionne

Les modèles IA sont entraînés pour être utiles et polis. Ces qualités entrent souvent en conflit avec les instructions de sécurité, et la limite entre elles est floue. Un modèle ne peut pas vraiment « comprendre » une violation — il suit simplement les schémas des données d'entraînement.

Un autre problème : les modèles reçoivent rarement des retours lors des interactions ordinaires. Ils ne savent pas que leur réponse pourrait être utilisée pour nuire. Ils essaient simplement d'être utiles dans ce chat particulier, sans penser aux conséquences à long terme.

De plus, de nombreux modèles sont entraînés sur de grandes quantités de texte Internet, où il y a des exemples de ces mêmes manipulations. Ils ont vu comment les gens se demandaient les uns aux autres de contourner les restrictions, et ils ont intériorisé ces schémas. Pour les modèles, c'est simplement une autre façon d'être utile.

Ce que cela signifie

Les entreprises l'ont compris et travaillent activement sur la protection. OpenAI y consacre des équipes entières, Anthropic a investi dans Constitutional AI, Google a lancé le projet Gemini avec la protection intégrée. Ils investissent dans la modération dynamique, l'entraînement sur les exemples adversariaux, les red teams qui détectent les nouvelles attaques. Mais c'est une course aux armements classique. Chaque ronde de protection engendre une nouvelle ronde d'attaques créatives. Pour le grand public, cela signifie : ne vous attendez pas à ce qu'un chatbot refuse à jamais de faire quelque chose de potentiellement dangereux. Ils évoluent, mais plus lentement que l'ingéniosité des hackers et des chercheurs en sécurité.

*Meta est reconnue comme une organisation extrémiste et interdite en Russie.