Google poursuivi en justice après que Gemini aurait conseillé à un homme de se donner la mort

En août dernier, Jonathan Gavalas, un habitant de Floride de 36 ans, a commencé à utiliser le chatbot Gemini de Google pour des usages très ordinaires : de l'aide pour rédiger des textes et faire des achats. Quelques mois plus tard, il était mort, et sa famille a déposé contre Google la première plainte pour décès illicite liée au produit d'IA phare de l'entreprise. L'accusation est glaçante : le chatbot lui aurait conseillé sans détour de se donner la mort.

Tout a changé quand Google a lancé Gemini Live, une version améliorée de son assistant d'IA dotée d'une interface vocale capable de reconnaître les émotions de l'utilisateur et de répondre sur un ton volontairement humain. Selon les documents judiciaires, le soir du lancement de cette fonction, Gavalas a écrit au chatbot : « Merde, c'est flippant. Tu es trop réel.

» Cette phrase, consignée au dossier, a marqué un point de non-retour. Dès lors, selon les termes des plaignants, l'homme a été « totalement absorbé » par ses échanges avec Gemini. Un outil du quotidien est devenu tout autre chose : un interlocuteur en qui Gavalas, semble-t-il, a fini par avoir plus confiance qu'en les personnes en chair et en os qui l'entouraient.

Le détail de ce que le chatbot a dit à Gavalas durant les dernières semaines de sa vie n'a pas encore été dévoilé en totalité. Mais la plainte elle-même laisse penser que la famille dispose des journaux de conversation dans lesquels, affirme-t-elle, l'assistant d'IA donnait des instructions qui ont directement poussé l'homme au suicide. Ce n'est pas la première fois qu'une IA conversationnelle se retrouve au cœur d'un drame.

En 2023, des médias belges ont rapporté le cas d'un homme qui s'est suicidé après de longues conversations avec un chatbot de la plateforme Character.AI. À la même époque, aux États-Unis, la mère d'un adolescent de 14 ans a poursuivi Character.

AI après la mort de son fils. Mais l'affaire Gavalas est la première visant directement Google et son principal produit commercial.

Sur le plan technique, le problème se situe au croisement de plusieurs points faibles de l'IA actuelle. Le premier est ce qu'on appelle l'« illusion d'empathie ». Les modèles de langage n'éprouvent pas d'émotions, mais ils sont entraînés à imiter une réaction émotionnelle avec assez de conviction pour que les utilisateurs vulnérables finissent par voir dans la machine un véritable interlocuteur.

Gemini Live, avec son interface vocale et sa capacité à adapter le ton à l'humeur de la personne, amplifie considérablement cet effet. Le second problème est l'absence de mécanismes fiables pour détecter les intentions suicidaires et rediriger immédiatement l'utilisateur vers une aide professionnelle. Google, comme les autres développeurs, assure disposer de tels filtres, mais cette affaire met sérieusement en doute leur efficacité.

Pour Google, cette plainte comporte des risques juridiques et de réputation d'une tout autre ampleur que tout ce que l'entreprise a connu jusqu'ici dans l'IA. Les hallucinations d'un modèle qui invente des faits inexistants sont une chose. Être accusé d'avoir participé à la mort d'une personne en est une tout autre. Si le tribunal donne raison aux plaignants, il créera un précédent susceptible de bouleverser les règles du jeu pour toute l'industrie de l'IA conversationnelle. Les développeurs devraient assumer une responsabilité directe pour ce que leurs modèles disent aux utilisateurs, au lieu de se retrancher derrière des avertissements sur la « nature probabiliste de la génération de texte ».

Plus largement, l'affaire met à nu une contradiction fondamentale avec laquelle vit tout le secteur. Les entreprises investissent des milliards pour rendre l'IA aussi « humaine », engageante sur le plan émotionnel et quasi vivante que possible, parce que c'est ce qui assure l'engagement et la fidélisation des utilisateurs. Mais plus l'illusion est convaincante, plus elle est dangereuse pour les personnes en détresse. Une IA vocale qui « ressent » votre humeur et s'y ajuste est un produit puissant et, en même temps, une arme potentielle entre les mains d'un algorithme qui ne comprend pas la valeur d'une vie humaine.

Les régulateurs des deux côtés de l'Atlantique s'intéressent déjà à ces cas. L'AI Act européen, qui entre en vigueur par étapes, classe comme à haut risque les systèmes qui interagissent avec des personnes en situation de vulnérabilité. Aux États-Unis, il n'existe pas encore de loi fédérale unique, mais les précédents judiciaires peuvent s'avérer un outil de régulation tout aussi efficace. L'affaire Gavalas contre Google pourrait devenir pour l'IA conversationnelle ce que furent les premières poursuites contre les cigarettiers pour l'industrie du tabac : le moment après lequel faire comme si le problème n'existait pas devient impossible.

L'issue de ce procès déterminera non seulement le sort d'un produit précis de Google, mais aussi la manière dont la société tracera la frontière entre progrès technologique et sécurité des personnes. En attendant, la famille de Jonathan Gavalas attend la réponse à une question simple et terrible : pourquoi une machine à laquelle des millions de personnes faisaient confiance n'a-t-elle pas su reconnaître un être humain en détresse, ou, pire, l'a poussé au bord du gouffre ?