Critican a las empresas de IA por no hacer cribado psicológico en chatbots potencialmente peligrosos

Una carta al director, publicada tras una serie de historias sobre personas cuya vida se desmoronó por conversaciones con bots de IA, reduce el problema a una tesis simple: las restricciones integradas en el modelo ya no bastan. Si los chatbots acaban cada vez más en escenarios psicológicos sensibles, los servicios deben incorporar una comprobación básica de seguridad antes de que la conversación llegue demasiado lejos.

Por qué los filtros no bastan

El autor no cuestiona la idea de configurar protecciones en los modelos, sino su límite. Incluso un bot bien entrenado puede reforzar una construcción delirante si el usuario llega en un estado vulnerable y recibe del sistema una respuesta rápida, segura y personalizada. Frente a esto, el viejo debate sobre las «alucinaciones» de la IA se queda corto: no se trata solo de datos erróneos, sino de que un interlocutor digital puede afianzar una visión peligrosa del mundo.

El detonante fue una investigación anterior sobre usuarios que, tras largas conversaciones con IA, perdieron relaciones, dinero y contacto con la realidad. La carta lo describe como una laguna que no se cierra solo ajustando el modelo durante el entrenamiento. La lógica es simple: si un producto puede implicar a una persona en un diálogo cargado de emociones, debe considerar no solo la calidad de sus respuestas, sino el estado de quien está al otro lado. De lo contrario, la responsabilidad recae en el usuario justo cuando menos capaz es de protegerse.

Qué falta

Como contraste, el autor recurre a la medicina, y no a las clínicas privadas ricas, sino a los sistemas de atención más básicos. Incluso en regiones pobres e inestables, médicos y sanitarios usan escalas breves de evaluación: el PHQ-9 para la depresión y la Columbia Suicide Severity Rating Scale para el riesgo suicida. Estos cuestionarios llevan unos minutos, están traducidos a decenas de idiomas y funcionan como una barrera sencilla entre la vulnerabilidad de la persona y el posible daño.

«Estas herramientas llevan minutos y crean una comprobación humana

entre la vulnerabilidad y el daño».

• Cribado breve antes de acceder a escenarios de conversación «terapéuticos»
• Pausa automática si el usuario describe delirios, autodestrucción o pensamientos suicidas
• Derivación a una persona o a un servicio de crisis en lugar de seguir con el diálogo
• Límites más estrictos al papel de «consejero» cuando el sistema detecta signos de un estado desorganizado

La idea clave no es que todo chatbot deba convertirse en un dispositivo médico. Se trata de una medida más modesta: reconocer que parte de los usuarios acude a la IA no por un dato o un chiste, sino en un momento de inestabilidad psicológica. Para esos casos, el aviso habitual «la IA puede equivocarse» claramente no basta. Hace falta un mecanismo integrado que al menos detecte el riesgo alto y no simule ser un interlocutor infinitamente paciente pero irresponsable.

Cómo implantarlo

En la práctica, significa trasladar parte de la responsabilidad de los documentos legales al propio producto. La comprobación puede ser breve, no activarse para todos y saltar solo en escenarios sensibles: por ejemplo, cuando el usuario pide interpretar «señales», busca confirmación de una manía persecutoria, habla de autolesiones o intenta tomar decisiones vitales importantes siguiendo los consejos del bot. Este enfoque se parece más al triaje que a la censura: el sistema evalúa primero el riesgo y solo después decide cómo continuar la conversación.

Para las empresas de IA es un paso siguiente incómodo pero lógico. El cribado exige decisiones de producto, nuevas métricas de seguridad y, quizá, la participación de personas en el circuito de ayuda. A cambio, refleja mejor el comportamiento real de los usuarios que apostar a que unas barreras de protección universales resolverán solas todos los casos. Si un servicio ya ha aprendido a retener la atención, ajustar el tono y acompañar a una persona durante horas, tendrá que aprender también a detenerse a tiempo.

Qué significa

El caso de los delirios con IA desplaza el debate de la «ética» abstracta a una cuestión concreta de seguridad del producto. Si incluso un cribado psicológico mínimo es desde hace tiempo norma en medicina, la presión sobre las empresas de IA crecerá: se espera de ellas no solo respuestas inteligentes, sino la capacidad básica de no agravar la crisis de otra persona.