Sherry Turkle avertit : on croit à la sollicitude d'une IA dès les premières répliques

Il y a soixante ans, le programme ELIZA du MIT, qui insérait les mots de l'utilisateur dans des répliques toutes faites, amenait des gens à lui parler comme à un psychothérapeute. Aujourd'hui, Sherry Turkle, professeure au MIT qui étudie les relations entre les humains et la technologie depuis les années 1980, en tire un constat plus tranchant. TechCrunch rapporte ses propos : « Quand même l'échange de répliques le plus primitif avec un artefact relationnel nous happe, nous croyons qu'il se soucie de nous. Et nous sommes faits pour nous soucier de lui en retour. »

Cette citation ne contient ni prédiction ni évaluation d'un modèle précis. C'est une observation sur nous-mêmes, et c'est précisément ce qui la rend importante pour l'industrie.

Un effet plus ancien que les réseaux de neurones

Turkle emploie le terme « artefact relationnel » pour désigner les objets qui miment la sollicitude et l'engagement, des animaux de compagnie numériques et robots sociaux jusqu'aux chatbots. Ses premiers travaux et son livre « Alone Together » (2011) reposent sur un constat : les gens s'attachent à ces objets même quand ils savent parfaitement qu'ils ont affaire à une machine.

C'est le créateur d'ELIZA, Joseph Weizenbaum, qui l'a montré le premier. Son programme ne comprenait rien : il repérait des mots-clés et les renvoyait sous forme de question. Pourtant, les utilisateurs lui confiaient des choses personnelles, et Weizenbaum lui-même est ensuite devenu l'un des critiques les plus virulents de cette façon de traiter les machines. Depuis, l'effet porte le nom d'effet ELIZA.

Les faits clés sur lesquels repose l'argument :

• 1966 : ELIZA, un dialogue à base de modèles de phrases, sans aucune compréhension, et pourtant une réaction déjà humaine chez les utilisateurs.
• 2011 : « Alone Together », où Turkle décrit l'attachement aux robots et aux compagnons numériques.
• Seuil d'entrée : selon sa formule, l'échange de répliques « le plus primitif » suffit.
• Mécanisme : la conviction d'être « aimé » déclenche chez nous une sollicitude en retour.

Pourquoi c'est plus aigu aujourd'hui

ELIZA fonctionnait avec quelques dizaines de règles. Les modèles de langage actuels offrent une élocution fluide, la mémoire des conversations précédentes, une voix et un ton ajustés à l'interlocuteur. Si la réaction se produisait déjà face aux modèles de phrases des années 1960, on voit mal pourquoi elle faiblirait devant un système qui répond de façon cohérente, chaleureuse et à toute heure du jour et de la nuit.

Le titre de TechCrunch pose une question en deux volets : « ne pas pouvoir ne pas » traiter l'IA comme un être humain, et « faut-il » le faire. Le premier volet est, selon Turkle, presque biologique : nous sommes câblés pour répondre à tout signe d'attention. Le second concerne la responsabilité de ceux qui construisent les produits. La machine mime l'empathie sans rien éprouver, tandis que l'utilisateur répond à cette imitation par de vrais sentiments et du temps. Le déséquilibre est structurel, et il profite à celui qui mesure l'engagement.

Le passage source ne contient aucun chiffre sur des services précis, le débat reste donc au niveau des principes. Mais le principe est clair : plus l'imitation de la sollicitude est convaincante, plus l'erreur de conception coûte cher.

Que faire, côté équipes produit et côté utilisateurs

Pour les équipes produit, la conclusion pratique est la suivante : il faut traiter l'attachement des utilisateurs comme un effet secondaire qui demande à être géré, et non comme une métrique de croissance. Il est utile de décider à l'avance dans quels cas l'assistant dit « je comprends » ou « je suis désolé », et dans quels cas il est plus honnête de rappeler qu'il s'agit d'un modèle. Les scénarios impliquant des adolescents, des personnes seules et des personnes vulnérables méritent une attention particulière : c'est là que l'imitation de la sollicitude pèse le plus.

Pour les utilisateurs, le conseil est plus modeste. Si, après une conversation avec un bot, vous avez le sentiment d'avoir été compris, c'est le fonctionnement normal de la psyché, pas la preuve qu'il y a eu compréhension. Il vaut la peine de se demander de temps en temps lequel des deux consacre le plus de temps et d'attention à l'autre dans cette relation, et s'il y a autour de vous de vraies personnes capables de répondre par la réciproque.