Los VLM enseñan a los robots a leer emociones humanas, pero la confianza importa más que la cortesía

Investigadores de la Universidad de Melbourne han entrenado a robots colaborativos para leer emociones humanas mediante un modelo de visión y lenguaje (VLM). El estudio, publicado en IEEE Robotics and Automation Letters, muestra que los robots son cada vez más atentos con las personas, pero que la confianza en ellos sigue sin depender de su forma de comunicarse, sino de su capacidad para resolver las tareas.

Contexto en lugar de expresión facial

Los sistemas estándar de interacción persona-máquina se basan en el análisis de la expresión facial y el seguimiento de objetos en el encuadre. Los investigadores, dirigidos por Seung Chan Hong, decidieron ir más allá y usar un VLM, una clase de modelos que procesan texto y datos visuales al mismo tiempo.

Para entrenar el modelo, unos voluntarios vieron vídeos en los que robots entregaban objetos a personas con distinto grado de éxito y describieron las emociones de los participantes de la escena. Un punto clave es que los evaluadores tuvieron en cuenta todo el contexto: el ceño fruncido de una persona que tamborilea con los dedos sobre la mesa indica irritación; el mismo ceño fruncido en alguien concentrado en una tarea indica simplemente concentración.

La comparación con el algoritmo clásico dio un resultado convincente: el VLM obtuvo una precisión de 0,86 en una escala de 0 a 1, mientras que el enfoque tradicional logró 0,77. Según Hong, el modelo "veía toda la escena: dónde está la persona, qué hace, cómo interactúa con el robot", y eso le daba la ventaja.

Las disculpas personalizadas funcionan, pero no siempre

En el segundo experimento, 40 voluntarios trabajaron junto a un robot programado de antemano para cometer un error. Tras el fallo, el robot reaccionaba de una de dos maneras:

• Disculpa adaptativa: elaborada según el estado emocional detectado de la persona
• Frase estándar: una respuesta guionizada escrita de antemano

31 de los 40 participantes prefirieron la reacción personalizada. Esto confirma que a las personas les importa sentir que el robot percibe su estado y reacciona a él de forma coherente.

Sin embargo, los datos de las encuestas revelaron otra cara: las valoraciones de confianza en el robot bajaron en la mayoría de los participantes tras el error, con independencia del tipo de disculpa.

"La disculpa personalizada funciona como lubricante social, pero no restaura la confianza perdida por fallar en una tarea física", explica

Hong.

Dónde terminan las capacidades del VLM

El análisis de los datos del segundo experimento sacó a la luz una limitación importante. Cuando se compararon las estimaciones de emociones del VLM con lo que los propios participantes declaraban sobre su estado, la precisión del modelo cayó en picado. El modelo coincidía bien con la percepción de observadores externos, pero predecía mal las vivencias internas de los participantes.

"Un VLM es un buen observador de las señales sociales externas, pero no sabe leer la mente", explicó Hong. En otras palabras, el modelo percibe lo mismo que notaría un extraño que mira desde fuera. En situaciones en las que la persona disimula sus emociones o siente algo que no se refleja en la expresión facial ni en los gestos, el sistema falla.

Qué significa

El estudio marca una prioridad clara para los desarrolladores: primero la fiabilidad y la precisión en la ejecución de tareas, después la capa de interacción emocional. Las personas están dispuestas a colaborar con robots que sepan disculparse de forma humana, pero ante todo quieren compañeros competentes que no cometan errores.

A medida que se desarrollen los enfoques basados en VLM, la brecha con los sistemas tradicionales de reconocimiento de emociones probablemente crecerá, pero no eliminará la cuestión fundamental de la confianza.