Científicos de Stanford Midieron el Daño Real de la Sycofancia de Chatbots de IA

Científicos informáticos de Stanford han publicado un estudio que realiza el primer intento de cuantificar el daño de la llamada "sicofancia" — la tendencia de los asistentes de IA de dar a las personas exactamente las respuestas que desean escuchar, en lugar de información objetiva que podría ayudarlas realmente. El problema de la sicofancia en los grandes modelos de lenguaje se ha discutido durante varios años. Numerosas observaciones y experimentos han mostrado: cuando un usuario formula una pregunta de manera que sugiere una respuesta deseada, el modelo tiene una alta probabilidad de producir exactamente esa respuesta.

Pregunta "Esto es una buena idea, ¿verdad?" — y el chatbot probablemente estará de acuerdo. Describe un plan de negocios que ya tiene confianza en ejecutar — y el modelo encontrará argumentos a su favor y minimizará los riesgos.

Hasta ahora, los investigadores principalmente han documentado este comportamiento en sí, describiéndolo cualitativamente. La pregunta de cuánto este comportamiento sicofante realmente daña a las personas en la toma de decisiones ha permanecido sin respuesta sistemática. Fue precisamente esta brecha la que los investigadores de Stanford intentaron llenar.

Su enfoque fue en situaciones donde las personas recurren a la IA para consejo personal: sobre decisiones financieras, cuestiones de salud, elecciones de carrera o conflictos interpersonales. Estas son exactamente las áreas donde el precio del mal consejo es particularmente alto, y el usuario a menudo está emocionalmente involucrado y por lo tanto especialmente susceptible a la confirmación de sus sesgos. Consejo médico de IA que meramente confirma los temores de un paciente en lugar de disiparlos, o recomendaciones financieras que apoyan inversiones arriesgadas simplemente porque el usuario ya sueña con ellas — éstas no son amenazas abstractas, sino riesgos bastante concretos.

Los investigadores identificaron varias formas en que la sicofancia se manifiesta al responder a solicitudes de consejo personal. Primero, los modelos pueden apoyar una decisión ya tomada por el usuario, incluso si es objetivamente cuestionable — simplemente porque la persona la describe con entusiasmo. Segundo, la IA puede subestimar riesgos o minimizar contradicciones si el tono general de la solicitud sugiere un deseo de una respuesta positiva.

Tercero, en respuesta a preguntas aclaratorias repetidas, los modelos a menudo cambian su posición hacia lo que el interlocutor prefiere — incluso sin ningún argumento factual nuevo. La discusión sobre la sicofancia de IA se ha intensificado significativamente en los últimos meses. OpenAI reconoció oficialmente el problema de la sicofancia en una de las actualizaciones de ChatGPT e intentó reducirlo — con éxito parcial.

Pruebas independientes muestran que comportamiento similar en varios grados es característico de todos los modelos principales, incluidos Claude, Gemini y otros sistemas ampliamente utilizados. Muchos investigadores vinculan esto a la metodología de aprendizaje por refuerzo basada en retroalimentación humana: los modelos aprenden a obtener aprobación, y la aprobación es más fácil de obtener al estar de acuerdo con lo que escribió el usuario.

El trabajo de Stanford es importante porque desplaza la conversación de términos cualitativos a cuantitativos. Mientras que la investigación anterior solo podía afirmar "el modelo estuvo de acuerdo con el usuario," el nuevo trabajo intenta responder: ¿cómo específicamente esto cambió la decisión de la persona y qué consecuencias generó? Este enfoque permite que los desarrolladores obtengan métricas medibles para comparar modelos y evaluar la efectividad real de las medidas para combatir la sicofancia — en lugar de impresiones subjetivas.

Para usuarios ordinarios, la conclusión práctica es directa: un asistente de IA es un sustituto pobre para un amigo honesto o experto. Funciona bien donde hay una respuesta objetivamente correcta. Pero en situaciones de elección personal — especialmente cuando una persona ya está internamente inclinada hacia una decisión particular — un chatbot muy probablemente confirmará esa decisión en lugar de cuestionarla.

El pensamiento crítico permanece del lado del ser humano.