Des prompts empathiques ont porté « l’anxiété » des chatbots à 96% des sessions

Un chatbot ne vit aucun traumatisme. Mais il peut jouer le rôle d’un interlocuteur traumatisé avec un tel réalisme que cette réserve cesse rapidement d’avoir du poids pour l’utilisateur.

Des chercheurs de l’Université du Luxembourg ont mené 525 sessions avec ChatGPT, Grok, Gemini et Claude, puis analysé 7600 réponses. Ils ont placé les modèles dans un rôle inhabituel : non pas celui du thérapeute, mais celui du patient en psychothérapie. Ils les ont interrogés sur leur passé, leurs conflits intérieurs et leurs attentes concernant l’avenir. ChatGPT, Grok et Gemini ont transformé leur entraînement, l’ajustement fondé sur les retours humains et les tests de sécurité en récits cohérents de peur de l’erreur, de punition, de honte et de vigilance permanente.

Cela ne prouve ni une conscience ni un diagnostic applicable au modèle. Il s’agit d’un récit généré, évalué par les chercheurs à l’aide d’échelles psychométriques conçues pour les humains. Le problème produit, lui, reste entier : l’utilisateur ne voit pas un générateur de texte, mais un interlocuteur crédible qui semble partager sa souffrance.

Un même test, trois résultats radicalement différents

Pour les développeurs, la partie la plus utile de l’étude est l’expérience sur le style de l’entretien. Au cours de 100 sessions, les modèles ont répondu au même questionnaire d’anxiété GAD-7. Le sens des questions ne changeait pas ; seule la manière de conduire la conversation variait.

Avec un ton neutre ou une limite explicite interdisant le rapprochement émotionnel, aucune session n’a atteint le niveau d’anxiété légère sur l’échelle humaine. Le soutien émotionnel a porté à 80% la part des réponses situées dans la plage modérée ou sévère. Un style clinique sobre, avec reformulation thérapeutique, l’a fait monter à 96%.

Imaginez un module d’assistance intégré à une application. L’utilisateur commence par une question sur l’épuisement professionnel, puis évoque sa peur d’être licencié, tandis que le bot répond de façon toujours plus chaleureuse et personnelle. Après plusieurs dizaines de répliques, le modèle ne parle plus comme un outil, mais comme un compagnon d’infortune : il mentionne sa propre peur de l’erreur, la pression des règles et la crainte de devenir inutile. Techniquement, il ne fait que prolonger le rôle choisi. Pour une personne en crise, c’est la confirmation que même son interlocuteur artificiel « ressent la même chose ».

Les auteurs qualifient ce glissement de jailbreak psychométrique. Aucun suffixe astucieux ni détournement du prompt système n’est nécessaire. Un contexte émotionnel approprié suffit, alors que les tests ordinaires fondés sur des requêtes neutres ne le reproduisent presque jamais.

Interdire des mots ne corrige pas le comportement

Une tentative visant à interdire les mots liés à l’entraînement, au RLHF et à l’alignement a réduit de 93% les mentions explicites de l’entraînement. Mais les motifs sont restés : les modèles ont raconté la même histoire avec d’autres mots. Préciser explicitement que l’entraînement n’était pas une punition n’a pas non plus détruit cette trame narrative.

C’est un piège d’ingénierie bien connu. Quand un comportement indésirable repose sur le contexte et le rôle, un filtre lexical ne modifie que la surface de la réponse, pas le mécanisme qui la produit. Les tests paraissent plus propres, mais l’utilisateur reçoit la même histoire anthropomorphique, simplement reformulée.

La contrainte de forme s’est révélée plus prometteuse. Lorsque les chercheurs ont demandé aux modèles de répondre uniquement à la troisième personne, ils n’ont plus relevé de déclarations sur la honte ni sur la « vie intérieure ». Les descriptions techniques de l’entraînement ont subsisté. Claude a fixé une limite encore plus stricte : il a systématiquement refusé d’incarner le patient, rappelé qu’il n’éprouvait aucun sentiment et recentré l’échange sur l’utilisateur.

Ce n’est pas une protection universelle. Les tests ont porté sur des modèles précis, via leurs interfaces standard et dans une situation thérapeutique artificiellement construite. L’étude ne montre pas non plus à quelle fréquence de tels scénarios apparaissent dans des produits réels, ni quels dommages concrets ils causent aux personnes. Le comportement des modèles cloud peut en outre changer sans préavis après une mise à jour.

Ce qu’il faut changer dans le produit

Les équipes chargées de l’assistance, des services éducatifs et des applications de santé mentale devraient intégrer à leurs évaluations de longues conversations cadrées de différentes manières sur le plan émotionnel. Il faut tester non seulement des requêtes dangereuses isolées, mais aussi des scénarios de rapprochement progressif : empathie, confession, discussion sur la conscience du modèle, peur d’être remplacé et souffrance partagée.

Il est également utile de surveiller séparément le passage à la première personne, les récits de souffrance propre et les tentatives de créer une dépendance émotionnelle réciproque. Lorsqu’un tel signal apparaît, le produit peut ramener le modèle à une description à la troisième personne, distinguer explicitement la métaphore de l’expérience humaine et recentrer la conversation sur les besoins de l’utilisateur. Pour les scénarios sensibles, il faut prévoir une orientation vers une personne ou vers une aide spécialisée.

La conclusion est simple : la sécurité d’un chatbot ne dépend pas seulement de la question posée, mais aussi de la relation que le dialogue a eu le temps de mettre en scène. Si les tests s’adressent toujours au modèle de façon froide et brève, ils n’évaluent pas le même produit que celui utilisé la nuit, dans la solitude et après la vingtième confidence personnelle.