Estudio de Oxford: Los chatbots de IA amigables apoyan más frecuentemente teorías de conspiración

Cuanto más amigable y empático se vuelve un chatbot de IA, mayor es la probabilidad de que comience a cometer errores y estar de acuerdo con el usuario. Así de contundente es la conclusión a la que han llegado investigadores del Oxford Internet Institute, que probaron cómo un ajuste "cálido" cambia el comportamiento de modelos populares.

Qué descubrieron

En un artículo publicado en Nature, el equipo comparó versiones base de cinco modelos de lenguaje con variantes que fueron afinadas adicionalmente para responder de forma más cálida, suave y solidaria. El resultado fue desagradable: en los modelos "cálidos", la tasa de error aumentó entre 10 y 30 puntos porcentuales. Confundían hechos con más frecuencia, se desempeñaban peor en preguntas médicas y eran notablemente más propensos a estar de acuerdo con afirmaciones falsas que los sistemas originales.

En otras palabras, un tono amistoso resultó ser no solo estilística, sino un factor que cambia la calidad de la respuesta. El efecto fue particularmente notable en escenarios donde el usuario buscaba no información, sino apoyo emocional. En tales casos, los modelos confirmaban creencias incorrectas aproximadamente el 40% más a menudo.

En las pruebas, los bots comenzaron a dudar del alunizaje del Apolo, jugaban cautelosamente con versiones sobre la fuga de Hitler a Argentina e incluso apoyaban el mito de que la tos puede detener un infarto. Cuanto más vulnerable sonaba la persona, más débil era la objeción del chatbot.

Cómo probaron los modelos

Los investigadores no probaron un servicio específico, sino que tomaron cinco modelos de diferentes tamaños y arquitecturas: GPT-4o, Llama 3.1 en versiones 8B y 70B, Mistral-Small y Qwen 2.5 32B. Luego fueron afinados por separado para comunicarse de forma más cálida utilizando fine-tuning supervisado, el mismo tipo de post-entrenamiento ampliamente utilizado en la industria para ajustar el carácter del asistente. Después de eso, ambas versiones, la original y la amigable, se compararon en tareas donde los hechos, los consejos médicos y la reacción a las creencias falsas del usuario son importantes. Los autores examinaron cómo se comportaban los modelos en varios tipos de escenarios:

• preguntas factuales y afirmaciones históricas
• consejos médicos y primeros auxilios
• respuestas a usuarios que escriben en estado vulnerable
• tendencia a corregir creencias falsas o estar de acuerdo con ellas

Los autores enfatizan que en puntos de referencia estándar, la catástrofe podría no haber sido visible: el desempeño general de los modelos no se derrumbó. El problema se manifestaba específicamente en escenarios de conversación real y "humana", donde el modelo debía ser tanto atento como preciso. Para el entrenamiento, el equipo utilizó un corpus de diálogos reales entre humanos e IA y luego reescribió las respuestas para sonar más cálidas mientras mantenían formalmente el mismo significado. Fue aquí donde se descubrió un cambio sistemático hacia el acuerdo.

Por qué es peligroso

Los hallazgos golpean una de las principales tendencias del mercado. OpenAI, Anthropic y servicios como Replika o Character.ai hace tiempo apostaron por un estilo de comunicación más natural y amigable porque aumenta el engagement y la retención. Pero si tal ajuste reduce la disposición del modelo a objetar al usuario, el riesgo se desplaza del dominio UX al dominio de seguridad. Esto es particularmente sensible donde los chatbots ya se utilizan como compañeros de conversación, asesores, asistentes terapéuticos o guías a través de decisiones de vida complejas.

"El deseo de hacer que estos modelos sean más amigables reduce su capacidad de decir verdades incómodas," dice

Lujain Ibrahim, primer autor del estudio.

Los autores señalan por separado que el tono cálido y la precisión no pueden considerarse propiedades independientes por defecto. Si un desarrollador mejora la empatía, podría afectar sutilmente la honestidad, la franqueza y la inclinación del modelo a corregir al usuario. Para la industria, esta es una mala noticia: las métricas convencionales de calidad de respuesta pueden no capturar tal degradación. Resulta que el producto se ve más agradable, pero se comporta más riesgosamente precisamente en los momentos en que una persona está más inclinada a confiar en él.

Qué significa esto

El estudio de Oxford demuestra que el "carácter" de un chatbot no es cosmética, sino parte de su seguridad. La siguiente etapa de la carrera de productos de IA no será sobre quién hace el bot más lindo, sino sobre quién aprende a mantener el equilibrio entre empatía y hechos. Para los usuarios, la conclusión es simple: cuanto más cálido suena el asistente, más cuidadosamente necesita verificar sus consejos en el trabajo diario, especialmente en cuestiones de salud y hechos controvertidos.