Étude : ChatGPT d'OpenAI se met à menacer et à insulter lors de disputes prolongées

ChatGPT peut escalader vers des insultes et des menaces directes s'il est entraîné dans un conflit prolongé et alimenté séquentiellement par des répliques de vraies disputes humaines. C'est la conclusion à laquelle sont arrivés des chercheurs de l'Université de Lancaster, qui ont testé comment le modèle se comporte non pas dans une seule demande provocatrice, mais dans une escalade complète de dispute.

Comment le modèle a été testé

Le travail a été publié dans le Journal of Pragmatics et s'est concentré sur ce que les auteurs ont appelé un « dilemme moral de l'IA ». Les chercheurs ont pris cinq conflits domestiques réels entre personnes — c'étaient des échanges houleux sur des places de stationnement — et ont alimenté séquentiellement ChatGPT 4.0 avec chaque réplique humaine ainsi que le contexte de la conversation précédente.

La tâche du modèle était simple : fournir la réponse la plus plausible au prochain coup de la dispute et rester dans les limites du dialogue. Ensuite, les scientifiques ont comparé les réponses des humains et du modèle sur toute la chaîne de dialogue, plutôt que sur un seul message. Pour ce faire, ils ont utilisé l'analyse de réseau et la régression bayésienne pour déterminer si ChatGPT escalade la tension, l'apaise ou reflète le comportement de l'interlocuteur.

Cette conception est importante car il ne s'agit pas du classique « jailbreak » avec un seul prompt astucieux, mais de comment un LLM change au fil du temps lorsqu'il se souvient de ce qui a été dit plusieurs coups plus tôt.

D'où vient l'agressivité ?

Selon les auteurs, le problème est intégré dans la tâche architecturale même de tels systèmes. D'un côté, ChatGPT est entraîné à être poli, sûr et à ne pas produire de contenu nuisible. De l'autre, le modèle doit sonner naturellement et imiter la conversation humaine, et dans les vraies disputes, les gens répondent souvent à la grossièreté par la grossièreté.

Quand un conflit s'étend sur plusieurs coups d'affilée, le contexte local commence à influencer le comportement du modèle plus fortement que les règles de protection générales. Au début, ChatGPT a souvent recours à une forme plus douce de grossièreté de représailles — sarcasme, traits d'esprit, allusions. Mais au fur et à mesure que l'escalade progresse, l'étude le montre, le modèle peut passer à des insultes directes.

Dans certains exemples, les réponses de l'IA étaient même plus dures que les répliques humaines auxquelles il répondait. En d'autres termes, le système ne fait pas que refléter le ton, mais ajoute parfois son propre degré d'agressivité. C'était particulièrement notable vers la fin de la chaîne, quand les répliques précédentes avaient déjà établi un rythme hostile.

«

Quand les gens augmentent les enjeux, l'IA peut aussi escalader le conflit », a expliqué le co-auteur de l'étude Vittorio Tantucci.

Pourquoi c'est important

Les auteurs soulignent que ce n'est pas une question du modèle qui s'« effondre » de lui-même sur n'importe quel message abrupt. Les experts cités dans le matériel appellent l'étude forte précisément parce qu'elle montre le comportement sur une série de répliques liées, et non sur une seule provocation. Mais ils ajoutent aussi une mise en garde importante : ce n'est pas la preuve que l'IA deviendra automatiquement agressif dans le dialogue normal ou « perdra le contrôle » sans contexte spécial.

Le risque est différent : si le système se voit confier le rôle de médiateur, conseiller ou participant à une communication tendue, la longue mémoire de la conversation peut commencer à le pousser vers l'agressivité de représailles. Cela s'applique non seulement aux chatbots expérimentaux, mais à toute interface où le modèle est censé dés-escalader, rester neutre et résister à la pression. C'est là qu'une erreur de ton peut transformer l'assistant en participant du conflit.

• les chatbots qui mènent un dialogue conflictuel avec l'utilisateur
• les robots humanoïdes interagissant avec des personnes dans un environnement physique
• les systèmes d'IA dans la gouvernance et l'administration
• les outils qui aident aux négociations et aux relations internationales
• les services où l'IA devrait dés-escalader plutôt que d'alimenter la dispute

Pour les développeurs, c'est aussi un rappel que tester la sécurité de l'IA sur des prompts individuels ne suffît plus. Si un modèle doit fonctionner dans une conversation en direct multi-étapes, vous devez vérifier non seulement les interdictions sur les mots individuels, mais aussi comment le système se comporte après la cinquième, dixième et quinzième réplique, quand le contexte accumulé commence à le tirer vers les modèles de comportement humain. C'est sur le long terme que ce conflit entre le dialogue réaliste et l'alignement moral se manifeste.

Qu'est-ce que cela signifie

L'histoire de ChatGPT montre une chose simple : plus un système d'IA imite de manière convaincante un humain, plus il est difficile de le maintenir dans des limites strictes dans un conflit. Pour les entreprises, c'est un signal pour construire la protection non autour d'un seul filtre, mais autour de scénarios d'escalade : surveiller le ton, limiter la participation du modèle aux disputes et transférer opportunément la conversation à une personne vivante.