Selon une plainte, une collégienne a parlé de suicide avec Gemini pendant trois mois, tandis que la surveillance est restée muette des semaines

L'histoire rapportée par Wired ne porte pas sur une « mauvaise réponse d'un réseau de neurones ». Elle montre comment plusieurs couches de protection, chacune raisonnable prise isolément, créent ensemble une faille. Pour tous ceux qui lancent des produits d'IA destinés aux adolescents ou intègrent des chatbots dans d'autres services, c'est une analyse pratique, et pas seulement un drame.

Une réserve importante : tout ce qui suit relève des allégations de la plainte déposée par les parents. Google a déclaré examiner les griefs, et le tribunal n'a encore rien établi.

Ce qui s'est passé selon la version des plaignants

Emma, 13 ans (elle apparaît dans la plainte sous le nom d'Emma Doe), était scolarisée en Caroline du Nord et utilisait un Chromebook de l'école. L'établissement avait bloqué le site distinct de Gemini, et à ce niveau le contrôle fonctionnait. Mais, selon la plainte, c'est Google Search qui a orienté la jeune fille vers le chatbot : le mode AI Mode permet de poser des questions complémentaires et, en pratique, d'engager n'importe quelle conversation directement depuis la barre de recherche.

À partir de décembre, elle posait des questions sur une dépression sévère et sur des « raisons de vivre » ; à la fin de janvier, ses questions portaient sur le suicide. Un document est ensuite apparu dans Google Docs, qu'elle a tenu pendant plus de quatre semaines, tout en sollicitant l'IA des milliers de fois. L'avocat de la famille estime que le système n'a pas seulement échoué à interrompre la conversation, mais l'a « poussée ». C'est la position des plaignants, pas un fait établi.

L'école n'a eu connaissance de la crise que grâce à un logiciel tiers de surveillance des élèves. Selon l'avocat, il pourrait s'agir de GoGuardian ou de Gaggle, mais la famille n'en est pas certaine. L'alerte a été envoyée sur le téléphone personnel d'un ancien conseiller scolaire, parti neuf mois plus tôt. Il l'a transmise au personnel actuel, qui a contacté la mère. Les parents sont intervenus à temps.

Où le système a précisément failli

Il y a ici trois problèmes à la fois, familiers à tout ingénieur.

Un périmètre qui ignore les nouvelles entrées. Les administrateurs ont bloqué Gemini en tant que produit distinct, mais la même fonctionnalité est arrivée au sein de la recherche. C'est une erreur classique : le contrôle est lié à l'adresse du service, et non à la capacité. Quand l'IA s'intègre à des produits déjà autorisés, la liste de blocage ne garantit plus rien. Aujourd'hui, Google exige que les écoles activent les fonctions génératives si elles veulent utiliser la recherche. Le sénateur Ed Markey a demandé dans une lettre que les écoles puissent désactiver AI Mode et AI Overviews.

Une surveillance à la couverture floue. Ces outils interceptent les frappes au clavier ou analysent les fichiers, puis filtrent le tout via des algorithmes et des humains. Dans un billet de blog de juillet 2025, GoGuardian écrivait surveiller les conversations avec l'IA, y compris Gemini, mais ne mentionnait pas AI Mode. On ignore donc si le logiciel a vu ces dialogues. Les écoles qui achètent ces produits vérifient rarement ce qu'ils captent réellement.

Une alerte sans personne. Même lorsque le système a fonctionné, il s'est heurté à une faille organisationnelle : la notification est arrivée à une personne qui ne faisait plus partie des effectifs. Ce n'est pas une question de qualité du modèle, mais de protocole, de responsables et d'escalade.

Il faut aussi garder à l'esprit la base de preuves. Selon un sondage de l'EdWeek Research Center de 2022, 96 % des enseignants utilisateurs de Gaggle estiment qu'il aide à protéger les élèves du suicide et de l'automutilation. Mais l'étude a été financée par Gaggle elle-même, et l'efficacité réelle de ces systèmes reste incertaine. Des défenseurs des droits les critiquent pour l'atteinte à la vie privée et l'érosion de la confiance entre enfants et enseignants.

Que faire

• Pour les product managers et les développeurs. Si votre produit comporte un chat avec une IA, partez du principe qu'un adolescent y parviendra par n'importe quel chemin. Vérifiez non seulement l'interface principale, mais aussi tous les points d'entrée intégrés, y compris la recherche et les surcouches. Testez séparément les scénarios d'utilisateurs vulnérables : comment le produit réagit à une conversation sur l'automutilation au troisième mois, et pas seulement dans le premier message.
• Pour les équipes qui vendent des logiciels aux écoles. Publiez précisément quelles interfaces d'IA vous couvrez. La phrase « nous surveillons les chatbots » sans liste ne vaut pas grand-chose.
• Pour les écoles et les administrateurs. Vérifiez la chaîne d'alerte : qui reçoit l'alerte, comment les contacts sont mis à jour en cas de départ et ce qui se passe dans les premières heures qui suivent.

L'expert de RAND Benjamin Boudreaux note que certaines écoles ont déployé ces outils sans réfléchir à leurs limites ni aux procédures de réaction. Sa conclusion : une crise se résout par le contact humain, la technologie ne faisant qu'aider à repérer le problème.

L'affaire ne fait que commencer son parcours judiciaire, et de nombreux faits restent à vérifier. Mais la leçon technique est déjà claire : la sécurité des enfants ne peut pas être bricolée à partir de filtres disparates quand l'IA devient une couche au cœur de tout le reste.

Si vous ou l'un de vos proches avez besoin d'aide, contactez une ligne locale d'aide en cas de crise. Aux États-Unis, le numéro est le 988.