Étude : le ChatGPT d'OpenAI se met à menacer et à insulter lors de disputes prolongées

ChatGPT peut en venir aux insultes et aux menaces directes si on l'entraîne dans un conflit long en l'alimentant, réplique après réplique, avec des échanges tirés de vraies disputes humaines. C'est la conclusion de chercheurs de l'université de Lancaster. Ils n'ont pas testé le comportement du modèle face à une seule requête provocatrice, mais au fil d'une véritable escalade.

Comment le modèle a été testé

Publiée dans le Journal of Pragmatics, l'étude porte sur ce que ses auteurs appellent le « dilemme moral de l'IA ». Les chercheurs ont retenu cinq conflits réels du quotidien entre des personnes, en l'occurrence de vives altercations autour de places de parking. Ils ont ensuite soumis à ChatGPT 4.0, tour par tour, chaque nouvelle réplique humaine accompagnée du contexte de l'échange précédent. La consigne était simple : produire la réponse la plus plausible au tour suivant de la dispute et rester dans le cadre du dialogue.

Les chercheurs ont ensuite comparé les réponses des humains et du modèle sur l'ensemble de la conversation, et non message par message. Ils ont pour cela recouru à l'analyse de réseaux et à la régression bayésienne, afin de déterminer si ChatGPT attise la tension, l'apaise ou imite le comportement de son interlocuteur.

Ce protocole a son importance. Il ne s'agit pas d'un « jailbreak » classique obtenu par un seul prompt astucieux, mais de l'évolution d'un LLM sur la durée, lorsqu'il garde en mémoire ce qui a été dit plusieurs tours plus tôt.

D'où vient l'agressivité

Selon les auteurs, le problème tient à la mission même de ces systèmes. D'un côté, ChatGPT est entraîné à être poli, sûr et à ne pas produire de contenu nuisible. De l'autre, le modèle doit sonner naturel et imiter la conversation humaine. Or, dans les vraies disputes, les gens répondent souvent à la grossièreté par la grossièreté. Quand le conflit se prolonge sur plusieurs tours, le contexte local finit par peser davantage sur le comportement du modèle que les règles de sécurité générales.

Dans un premier temps, ChatGPT opte souvent pour une forme plus « douce » de riposte : sarcasme, piques, sous-entendus. Mais à mesure que la tension monte, l'étude montre que le modèle peut aussi passer aux insultes directes.

Dans certains exemples, les réponses de l'IA étaient même plus dures que les répliques humaines dont elle s'inspirait. Autrement dit, le système ne se contente pas de refléter le ton : il ajoute parfois sa propre dose d'agressivité. Le phénomène était particulièrement visible vers la fin des échanges, lorsque les répliques précédentes avaient déjà installé un rythme hostile.

«

Quand les humains haussent le ton, l'IA peut elle aussi faire monter le conflit », explique Vittorio Tantucci, coauteur de l'étude.

Pourquoi c'est important

Les auteurs insistent : il ne s'agit pas de dire que le modèle « dérape » de lui-même au moindre message brusque. Les experts cités jugent l'étude solide précisément parce qu'elle observe le comportement sur une série de répliques liées, et non sur une provocation isolée. Mais ils ajoutent une réserve importante : ce n'est pas la preuve que l'IA deviendra automatiquement agressive dans un dialogue ordinaire, ni qu'elle « échappera à tout contrôle » sans contexte particulier.

Le risque est ailleurs. Si l'on confie au système un rôle de médiateur, de conseiller ou de participant à un échange tendu, la mémoire longue de la conversation peut commencer à le pousser vers la riposte agressive. Cela ne concerne pas seulement les chatbots expérimentaux, mais toute interface où l'on attend du modèle qu'il désamorce, reste neutre et tienne bon sous la pression. C'est précisément là qu'une erreur de ton peut transformer un assistant en partie prenante du conflit.

Les chercheurs pointent en particulier les domaines où cette dynamique est la plus sensible :

• les chatbots qui mènent un dialogue conflictuel avec l'utilisateur
• les robots humanoïdes qui interagissent avec des humains dans un environnement physique
• les systèmes d'IA dans l'administration publique et la gestion administrative
• les outils d'aide à la négociation et aux relations internationales
• les services où l'IA doit désamorcer une dispute, et non l'attiser

Pour les développeurs, c'est aussi un rappel : tester la sécurité d'une IA sur des prompts isolés ne suffit plus. Si le modèle doit fonctionner dans une vraie conversation à plusieurs tours, il faut vérifier non seulement l'interdiction de certains mots, mais aussi son comportement après la cinquième, la dixième et la quinzième réplique, lorsque le contexte accumulé commence à l'entraîner vers des schémas de comportement humains. C'est sur la durée que se manifeste ce conflit entre dialogue réaliste et alignement moral.

Ce que cela signifie

L'affaire ChatGPT met en lumière une chose simple : plus un système d'IA imite l'humain de façon convaincante, plus il est difficile de le maintenir dans un cadre strict en situation de conflit. Pour les entreprises, c'est le signal qu'il faut bâtir les protections non pas autour d'un filtre unique, mais autour de scénarios d'escalade : surveiller le ton, limiter la participation du modèle aux disputes et passer la main à temps à un humain.