Según una demanda, una escolar habló tres meses con Gemini sobre suicidio mientras el monitoreo callaba durante semanas

La historia que cuenta Wired no trata de una «mala respuesta de una red neuronal». Trata de cómo varias capas de protección, cada una razonable por separado, juntas forman un agujero. Para quienes lanzan productos de IA para adolescentes o integran chatbots en otros servicios, es un caso práctico, no solo un drama.

Una salvedad importante: todo lo que sigue son afirmaciones de la demanda presentada por los padres. Google ha dicho que estudia las reclamaciones y el tribunal aún no ha establecido nada.

Qué ocurrió según la parte demandante

Emma, de 13 años (en la demanda figura como Emma Doe), estudiaba en una escuela de Carolina del Norte y usaba un Chromebook escolar. La escuela bloqueó el sitio independiente de Gemini y a ese nivel el control funcionó. Pero, según la demanda, fue el Google Search habitual el que llevó a la niña al chatbot: el modo AI Mode permite hacer preguntas de seguimiento y, en la práctica, iniciar cualquier conversación directamente desde la barra de búsqueda.

Desde diciembre preguntaba por una depresión grave y por «razones para vivir», y a finales de enero sus preguntas eran sobre suicidio. Después apareció en Google Docs un documento que mantuvo durante más de cuatro semanas, mientras recurría a la IA miles de veces en paralelo. El abogado de la familia considera que el sistema no solo no detuvo la conversación, sino que la «empujaba». Es la postura de los demandantes, no un hecho establecido.

La escuela se enteró de la crisis solo gracias a un software de monitoreo de estudiantes de terceros. Según el abogado, podría haber sido GoGuardian o Gaggle, pero la familia no lo sabe con certeza. La alerta llegó al teléfono personal de un antiguo orientador escolar que se había marchado nueve meses antes. Él la transmitió al personal actual, que contactó con la madre. Los padres intervinieron a tiempo.

Dónde falló exactamente el sistema

Hay tres problemas, conocidos por cualquier ingeniero.

Un perímetro que no contempla las nuevas entradas. Los administradores bloquearon Gemini como producto independiente, pero la misma funcionalidad llegó dentro del buscador. Es un error clásico: el control está ligado a la dirección del servicio y no a la capacidad. Cuando la IA se integra en productos ya permitidos, una lista de bloqueo deja de garantizar nada. Ahora Google exige a las escuelas activar las funciones generativas si quieren usar el buscador. El senador Ed Markey pidió en una carta que se dé a las escuelas la posibilidad de desactivar AI Mode y AI Overviews.

Monitoreo con cobertura poco clara. Estas herramientas capturan pulsaciones de teclas o escanean archivos y luego filtran con algoritmos y personas. GoGuardian escribió en su blog en julio de 2025 que vigila los chats con IA, incluido Gemini, pero no mencionó AI Mode. Por eso se desconoce si el software llegó a ver esos diálogos. Las escuelas que compran estos productos rara vez comprueban qué detectan exactamente.

Una alerta sin persona. Incluso el sistema que se activó chocó con un agujero organizativo: la notificación llegó a alguien que ya no estaba en la plantilla. No es una cuestión de calidad del modelo, sino de protocolo, responsables y escalado.

Conviene recordar también la base de pruebas. Según una encuesta del EdWeek Research Center de 2022, el 96 % de los educadores usuarios de Gaggle cree que ayuda a proteger a los alumnos del suicidio y la autolesión. Pero el estudio fue patrocinado por la propia Gaggle y la eficacia real de estos sistemas sigue sin estar clara. Los defensores de derechos civiles los critican por invadir la privacidad y minar la confianza entre niños y docentes.

Qué hacer al respecto

• Producto y desarrollo. Si su producto tiene un chat con IA, asuma que un adolescente llegará a él por cualquier vía. Revise no solo la interfaz principal, sino todos los puntos de entrada integrados, incluidos el buscador y los envoltorios. Pruebe por separado escenarios de usuarios vulnerables: cómo reacciona el producto ante una conversación sobre autolesión en el tercer mes, y no solo en el primer mensaje.
• Equipos que venden software a escuelas. Publiquen qué interfaces de IA cubren exactamente. La frase «monitoreamos chatbots» sin una lista vale poco.
• Escuelas y administradores. Revisen la cadena de alertas: quién recibe la alerta, cómo se actualizan los contactos cuando hay bajas de personal y qué ocurre en las primeras horas posteriores.

El experto de RAND Benjamin Boudreaux señala que algunas escuelas implantaron estas herramientas sin pensar en sus límites ni en los procedimientos de respuesta. Su conclusión: una crisis se resuelve mediante el contacto humano, y la tecnología solo ayuda a detectar el problema.

El caso apenas empieza a recorrer los tribunales y muchos hechos están por verificar. Pero la lección técnica ya es evidente: la seguridad infantil no puede montarse con filtros dispersos cuando la IA se convierte en una capa dentro de todo lo demás.

Si usted o alguien cercano necesita apoyo, llame a una línea local de ayuda en crisis. En EE. UU. el número es el 988.