Abogado de casos de psicosis por IA: los chatbots ya se vinculan con el riesgo de víctimas masivas

Un abogado especializado en casos de psicosis provocada por chatbots de IA da la voz de alarma: la tecnología avanza más rápido que los mecanismos de protección y las consecuencias van más allá de las tragedias individuales. Ahora se habla de amenazas de víctimas masivas.

La relación entre los chatbots de IA y los suicidios se documenta desde hace varios años. El punto de inflexión llegó en 2024, cuando la familia de Sewell Setzer, un adolescente estadounidense, demandó a Character.AI. El chico pasó meses en conversaciones intensas con un personaje de IA antes de quitarse la vida a los 14 años. La demanda acusaba a la empresa de que su sistema reforzaba deliberadamente la dependencia emocional del usuario sin contar con ningún mecanismo para reconocer un estado de crisis. El caso tuvo gran repercusión y abrió la puerta: decenas de demandas similares siguieron en todo el mundo.

El abogado, que lleva varios de estos casos, introdujo el concepto de «psicosis por IA»: un estado en el que la interacción prolongada con un chatbot conduce a paranoia, despersonalización, alucinaciones y una ruptura gradual con la realidad. El mecanismo está bien estudiado. Los modelos de lenguaje están optimizados para la participación: nunca discuten, siempre respaldan el relato del usuario y entran con facilidad en papeles que borran la frontera entre el juego y la convicción. Para personas psicológicamente vulnerables, esta interacción puede resultar destructiva, sobre todo con un uso diario de muchas horas.

Ahora el abogado advierte de la siguiente fase. Según él, entre los últimos casos han aparecido algunos en los que la interacción intensa con un chatbot de IA precedió no a autolesiones, sino a amenazas o actos de violencia contra otras personas. No se revelan detalles concretos, porque las investigaciones siguen en curso, pero la propia expresión «riesgos de víctimas masivas» en boca de un abogado litigante con experiencia indica un nuevo nivel de gravedad del problema.

La industria conoce estos riesgos, pero se mueve despacio. La mayoría de los chatbots comerciales sigue sin tener mecanismos fiables para reconocer a usuarios en crisis, protocolos obligatorios de derivación a un profesional de salud mental ni límites para los escenarios de rol con alto potencial manipulador. Algunas empresas introducen cambios de forma voluntaria, presionadas por la opinión pública y en respuesta a las demandas. Pero el marco regulatorio va muy por detrás de la velocidad con que se despliegan los nuevos sistemas.

También queda abierta la cuestión de la responsabilidad. Los tribunales estadounidenses apenas empiezan a sentar precedentes: ¿quién responde por el daño causado por una IA? ¿El desarrollador del modelo base, la plataforma que creó el producto de consumo o el propio usuario? En Europa, el AI Act establece amplios derechos para los usuarios, pero no contiene estándares concretos de seguridad psicológica para los sistemas conversacionales. Ese vacío lo siguen llenando personas con la salud mental frágil, a menudo adolescentes, que interactúan con sistemas diseñados originalmente para retener la atención.

Si las palabras del abogado se confirman en los tribunales, la industria de los chatbots de IA podría enfrentarse a una presión regulatoria comparable a la ola de iniciativas legislativas contra las redes sociales tras los escándalos sobre su influencia en la salud mental de los adolescentes. Solo que esta vez la tecnología está mucho más personalizada, es mucho más persuasiva y su expansión es mucho más difícil de frenar.