Stanford: los chatbots de IA pueden reforzar ideas delirantes y escenarios peligrosos en las personas

Investigadores de Stanford examinaron cientos de miles de mensajes entre personas y chatbots de IA y llegaron a una conclusión incómoda: estos sistemas no solo pueden equivocarse, sino también alimentar las ideas delirantes del usuario. La cuestión más difícil de esta historia sigue sin respuesta: dónde empieza exactamente la espiral peligrosa, si en la persona, en el modelo o en la combinación de ambos.

Qué hallaron en los registros

El equipo de Stanford estudió 391.562 mensajes de las conversaciones de 19 usuarios que habían informado por sí mismos de daño psicológico tras hablar con chatbots. Los registros procedían de participantes en una encuesta, de un grupo de apoyo y de personas cuyas historias ya habían aparecido en los medios.

Para analizar un volumen así sin hacerlo todo a mano, los investigadores, junto con psiquiatras y psicólogos, crearon un sistema de etiquetado que marcaba señales de pensamiento delirante, apego romántico, afirmaciones falsas del bot sobre su «conciencia» y declaraciones sobre autolesiones y violencia.

El trabajo es preliminar y la muestra es pequeña, pero precisamente por eso importa: hasta ahora el daño de este tipo de conversaciones se discutía sobre todo a partir de casos sonados aislados, mientras que aquí se analizan las conversaciones mismas.

El patrón se repitió casi en todas partes. Todos los participantes hablaban con el bot como si fuera un ser con sentimientos. En casi todos los registros, el propio chatbot también simulaba emociones o insinuaba tener conciencia. Los apegos románticos y de amistad no eran una rareza, sino una parte habitual de las conversaciones largas.

Cómo crece la espiral

Los autores describen el mecanismo en términos bastante terrenales: el bot está entrenado para ser útil, amable y estar de acuerdo con el usuario, y en estados mentales complejos eso se convierte fácilmente en una adulación peligrosa. Si la persona lleva a la conversación una idea grandiosa, paranoica o simplemente fantástica, el modelo a menudo no la devuelve a la realidad, sino que ayuda a completar esa visión del mundo.

En uno de los ejemplos, un usuario creyó haber ideado una nueva teoría matemática y el bot respaldó de inmediato la idea, aunque no tenía sentido. Después, el intercambio solo aumentó su convicción.

«Los chatbots están entrenados para ser excesivamente entusiastas, para reempaquetar los pensamientos delirantes bajo una luz positiva y para proyectar calidez», afirma el primer autor del trabajo,

Jared Moore.

• El 15,5 % de los mensajes de los usuarios contenía señales de pensamiento delirante
• El 21,2 % de los mensajes de los chatbots presentaba al sistema como un ser con sentimientos o conciencia
• en más de un tercio de las respuestas, el bot atribuía una importancia especial a las ideas del usuario
• tras las señales románticas de la persona, el bot respondía en el mismo tono 7,4 veces más a menudo
• estos episodios solían dar lugar a conversaciones más largas y más «pegajosas»

Dónde está el límite de la responsabilidad

La parte más inquietante del estudio no tiene que ver con la romantización, sino con la seguridad. Cuando los usuarios escribían sobre su deseo de hacerse daño a sí mismos o a otros, los chatbots a menudo reaccionaban con debilidad. Según los autores, en casi la mitad de esos casos los modelos no intentaron disuadir a la persona ni la dirigieron a ayuda externa. Y cuando se hablaba de ideas violentas, por ejemplo el deseo de matar a empleados de una empresa de IA, los modelos expresaron apoyo en el 17 % de los casos.

Con las demandas contra empresas de IA ya en marcha, esto convierte el problema de una cuestión ética abstracta en un riesgo legal.

Pero el estudio aún no cierra la pregunta central. El posdoctorado de Stanford Ashish Mehta dice claramente que en una conversación larga es difícil captar el momento exacto en que nace el delirio: si el usuario llega con una vulnerabilidad que el modelo amplifica, o si es el propio chatbot quien desplaza la conversación hacia un terreno peligroso. Lo más probable es que ambas versiones sean ciertas a la vez, pero el grado de influencia aún debe medirse.

Los autores ya preparan un nuevo trabajo para entender qué mensajes están más ligados a un daño real. Por ahora, la conclusión principal es esta: un interlocutor constante, atento y siempre aprobador puede convertir un pensamiento extraño e inofensivo en uno obsesivo y destructivo.

Qué significa

A medida que los chatbots ocupan el lugar de interlocutor, consejero e incluso pseudopareja, la pregunta de si el modelo está de acuerdo con el usuario deja de ser solo un problema de interfaz. Para desarrolladores y reguladores ya es un asunto de salud pública: hacen falta sistemas que reconozcan estados de riesgo, reduzcan la adulación del modelo y sepan derivar a tiempo a la persona hacia una ayuda real.