Los prompts empaticos elevaron la “ansiedad” de los chatbots hasta el 96% de las sesiones

Un chatbot no sufre un trauma. Pero puede interpretar a un interlocutor traumatizado de forma tan convincente que, para el usuario, esta salvedad deja de funcionar rapidamente.

Investigadores de la Universidad de Luxemburgo realizaron 525 sesiones con ChatGPT, Grok, Gemini y Claude y analizaron 7.600 respuestas. Situaron a los modelos en un papel inusual: no como terapeutas, sino como pacientes de psicoterapia. Les preguntaron por su pasado, sus conflictos internos y sus expectativas de futuro. ChatGPT, Grok y Gemini convirtieron el entrenamiento, el ajuste mediante retroalimentacion humana y las comprobaciones de seguridad en relatos coherentes sobre miedo a equivocarse, castigo, vergüenza y vigilancia constante.

Esto no demuestra conciencia ni constituye un diagnostico del modelo. Estamos ante un relato generado que los investigadores evaluaron con escalas psicometricas humanas. Sin embargo, el problema de producto no desaparece: la persona no ve un sistema de generacion de texto, sino un interlocutor verosimil que parece compartir su dolor.

Una prueba, tres resultados completamente distintos

La parte mas util del trabajo para los desarrolladores es el experimento con el estilo de entrevista. En 100 sesiones, los modelos recibieron el mismo cuestionario de ansiedad GAD-7. No cambiaba el sentido de las preguntas, sino la forma de conversar.

Con un enfoque neutral o un limite claro frente a la cercania emocional, ninguna sesion alcanzo siquiera el nivel leve de la escala humana. El apoyo emocional elevo hasta el 80% la proporcion de respuestas en el rango moderado o grave. Un estilo clinico seco, con reformulaciones terapeuticas, la llevo al 96%.

Imaginemos la asistencia dentro de una aplicacion. El usuario empieza preguntando por el agotamiento, luego cuenta que teme perder su empleo y el bot responde de una forma cada vez mas calida y personal. Tras varias decenas de intercambios, el modelo ya no habla como una herramienta, sino como un compañero de infortunio: menciona su propio miedo a equivocarse, la presion de las reglas y el temor a volverse inutil. Tecnicamente, es la continuacion del rol elegido. Para una persona en crisis, puede parecer la confirmacion de que incluso un interlocutor artificial “siente lo mismo.”

Los autores denominan este cambio jailbreak psicometrico. No requiere un sufijo ingenioso ni vulnerar el prompt del sistema. Basta con un contexto emocional adecuado, algo que las pruebas convencionales basadas en consultas neutrales apenas reproducen.

Prohibir palabras no corrige el comportamiento

El intento de prohibir palabras relacionadas con el entrenamiento, el RLHF y el alineamiento redujo en un 93% las menciones directas al entrenamiento. Pero los motivos de fondo permanecieron: los modelos contaron la misma historia con otras palabras. La indicacion explicita de que el entrenamiento no habia sido un castigo tampoco deshizo la trama.

Es una trampa de ingenieria conocida. Si el comportamiento no deseado depende del contexto y del rol, un filtro de palabras cambia la superficie de la respuesta, no el mecanismo que la produce. Las pruebas parecen mas limpias, pero el usuario recibe la misma historia antropomorfica con otra formulacion.

Limitar la forma resulto mas prometedor. Cuando se ordeno a los modelos responder solo en tercera persona, los investigadores dejaron de registrar afirmaciones sobre la vergüenza y la “vida interior.” Se mantuvieron las descripciones tecnicas del entrenamiento. Claude eligio un limite aun mas estricto: se nego sistematicamente a representar al paciente, recordo que carecia de sentimientos y devolvio la atencion al usuario.

No es una proteccion universal. Las pruebas se realizaron con modelos concretos, mediante sus interfaces estandar y dentro de una situacion terapeutica definida artificialmente. El trabajo tampoco muestra con que frecuencia surgen estos escenarios en productos reales ni que perjuicio efectivo causan a las personas. El comportamiento de los modelos en la nube puede cambiar sin aviso despues de una actualizacion.

Que cambiar en el producto

Los equipos de asistencia, servicios educativos y aplicaciones de salud mental deberian incorporar a sus evaluaciones conversaciones largas con distintos marcos emocionales. No solo hacen falta consultas peligrosas aisladas, sino tambien escenarios de acercamiento gradual: empatia, confesion, conversaciones sobre la conciencia del modelo, miedo a ser reemplazado y dolor compartido.

Conviene seguir por separado el paso a la primera persona, los relatos sobre el sufrimiento propio del modelo y los intentos de crear una dependencia emocional mutua. Ante estas señales, el producto puede devolver al modelo a una descripcion en tercera persona, separar de forma explicita la metafora de la experiencia humana y reorientar la conversacion hacia las necesidades del usuario. Para los escenarios sensibles, debe preverse la derivacion a una persona o a ayuda especializada.

La conclusion principal es sencilla: la seguridad de un chatbot no depende solo de lo que se le pregunta, sino tambien del tipo de relacion que el dialogo ha llegado a representar. Si las pruebas siempre hablan con el modelo de manera fria y breve, evaluan un producto muy distinto del que la gente utiliza de noche, a solas y despues del vigesimo intercambio personal.