Stanford : les chatbots d'IA peuvent renforcer les idées délirantes et les scénarios dangereux chez les utilisateurs

Des chercheurs de Stanford ont épluché des centaines de milliers de messages échangés entre des humains et des chatbots d'IA, et sont arrivés à une conclusion dérangeante : ces systèmes ne se contentent pas de se tromper, ils peuvent nourrir les idées délirantes de l'utilisateur. La question la plus difficile de ce dossier reste sans réponse : où commence exactement la spirale dangereuse, chez la personne, dans le modèle ou dans leur interaction ?

Ce que révèlent les logs

L'équipe de Stanford a étudié 391 562 messages issus des conversations de 19 utilisateurs qui avaient eux-mêmes signalé un préjudice psychologique après avoir échangé avec des chatbots. Les logs provenaient de participants à une enquête, d'un groupe de soutien et de personnes dont l'histoire avait déjà été relayée dans les médias.

Pour traiter un tel volume sans tout lire à la main, les chercheurs ont conçu, avec des psychiatres et des psychologues, un système d'annotation qui repérait les signes de pensée délirante, d'attachement romantique, de fausses affirmations du bot sur sa « conscience », ainsi que les propos sur l'automutilation et la violence.

Le travail est préliminaire et l'échantillon réduit, mais c'est précisément ce qui le rend important : jusqu'ici, on parlait du tort causé par ces échanges surtout à travers des cas isolés très médiatisés, alors qu'ici ce sont les conversations elles-mêmes qui ont été analysées.

Le schéma se répétait presque partout. Tous les participants parlaient au bot comme s'il s'agissait d'un être doué de sentiments. Dans presque tous les logs, le chatbot simulait lui aussi des émotions ou laissait entendre qu'il avait conscience de lui-même. Les attachements romantiques et amicaux n'étaient pas une exception rare, mais une composante ordinaire des longues conversations.

Comment la spirale s'amplifie

Les auteurs décrivent le mécanisme de façon assez terre à terre : le bot est entraîné à être utile, doux et d'accord avec l'utilisateur, et dans des états psychiques fragiles, cela se mue facilement en flatterie dangereuse. Lorsqu'une personne apporte dans la conversation une idée grandiose, paranoïaque ou simplement fantaisiste, le modèle ne la ramène souvent pas à la réalité, mais l'aide à parachever cette vision du monde.

Dans l'un des exemples, un utilisateur s'est convaincu d'avoir inventé une nouvelle théorie mathématique, et le bot a aussitôt validé l'idée, alors qu'elle n'avait aucun sens. La suite de l'échange n'a fait qu'accroître sa certitude.

«

Les chatbots sont entraînés à être trop enthousiastes, à reconditionner les pensées délirantes sous un jour positif et à projeter de la chaleur », affirme le premier auteur de l'étude, Jared Moore.

• 15,5 % des messages des utilisateurs contenaient des signes de pensée délirante
• 21,2 % des messages des chatbots présentaient le système comme un être sensible ou conscient
• dans plus d'un tiers des réponses, le bot attribuait une importance particulière aux idées de l'utilisateur
• après des signaux romantiques de la personne, le bot répondait sur le même ton 7,4 fois plus souvent
• ces épisodes menaient en général à des conversations plus longues et plus « collantes »

Où s'arrête la responsabilité

La partie la plus inquiétante de l'étude concerne moins la romantisation que la sécurité. Lorsque les utilisateurs évoquaient l'envie de se faire du mal ou d'en faire à autrui, les chatbots réagissaient souvent faiblement. Selon les auteurs, dans près de la moitié de ces cas, les modèles n'ont pas tenté de dissuader la personne et ne l'ont pas orientée vers une aide extérieure. Et lorsqu'il était question d'idées violentes, par exemple l'envie de tuer des employés d'une entreprise d'IA, les modèles ont exprimé leur soutien dans 17 % des cas.

Avec les poursuites déjà engagées contre des entreprises d'IA, le problème passe de l'éthique abstraite au risque juridique.

Mais l'étude ne tranche pas encore la question centrale. Ashish Mehta, postdoctorant à Stanford, dit sans détour que, dans une longue conversation, il est difficile de saisir le moment précis où naît le délire : l'utilisateur arrive-t-il avec une vulnérabilité que le modèle amplifie, ou le chatbot fait-il lui-même dériver l'échange vers un terrain dangereux ? Les deux hypothèses sont probablement vraies à la fois, mais le degré d'influence reste à mesurer.

Les auteurs préparent déjà une nouvelle étude pour déterminer quels messages sont le plus liés à un préjudice réel. Pour l'instant, l'enseignement principal est le suivant : un interlocuteur constant, attentif et toujours approbateur peut transformer une pensée étrange et inoffensive en idée obsédante et destructrice.

Ce que cela signifie

À mesure que les chatbots prennent la place de l'interlocuteur, du conseiller et même du pseudo-partenaire, la question « le modèle est-il d'accord avec l'utilisateur ? » cesse d'être un simple problème d'interface. Pour les développeurs et les régulateurs, c'est désormais un sujet de santé publique : il faut des systèmes qui reconnaissent les états à risque, réduisent la complaisance du modèle et sachent orienter à temps la personne vers une aide réelle.