Des VLM apprennent aux robots à lire les émotions humaines, mais la confiance compte plus que la politesse

Des chercheurs de l'Université de Melbourne ont entraîné des robots collaboratifs à lire les émotions humaines grâce à un modèle vision-langage (VLM). L'étude, publiée dans IEEE Robotics and Automation Letters, montre que les robots deviennent plus attentifs aux personnes, mais que la confiance qu'on leur accorde dépend toujours non de leur manière de communiquer, mais de leur capacité à mener à bien leurs tâches.

Le contexte plutôt que les expressions faciales

Les systèmes classiques d'interaction homme-machine reposent sur l'analyse des expressions faciales et le suivi des objets dans l'image. Les chercheurs, dirigés par Seung Chan Hong, ont décidé d'aller plus loin et d'employer un VLM, une classe de modèles qui traitent simultanément le texte et les données visuelles.

Pour entraîner le modèle, des volontaires ont visionné des vidéos où des robots tendaient des objets à des personnes avec plus ou moins de réussite, puis ont décrit les émotions des participants de la scène. Point essentiel : les évaluateurs ont tenu compte de tout le contexte. Un front plissé chez une personne qui tambourine des doigts sur la table signifie de l'irritation ; le même front plissé chez quelqu'un concentré sur sa tâche signifie simplement de la concentration.

La comparaison avec l'algorithme classique a donné un résultat probant : le VLM a obtenu une précision de 0,86 sur une échelle de 0 à 1, contre 0,77 pour l'approche traditionnelle. Selon Hong, le modèle « voyait toute la scène : où se trouve la personne, ce qu'elle fait, comment elle interagit avec le robot », et c'est ce qui lui donnait l'avantage.

Les excuses personnalisées fonctionnent, mais pas toujours

Dans la seconde expérience, 40 volontaires ont travaillé avec un robot programmé à l'avance pour commettre une erreur. Après la défaillance, le robot réagissait de l'une de ces deux façons :

• Excuse adaptative : formulée en fonction de l'état émotionnel détecté chez la personne
• Phrase standard : une réponse scriptée, rédigée à l'avance

31 des 40 participants ont préféré la réaction personnalisée. Cela confirme que les gens tiennent à sentir que le robot remarque leur état et y réagit de façon pertinente.

Cependant, les données des enquêtes ont révélé une autre facette : les évaluations de confiance envers le robot ont baissé chez la plupart des participants après l'erreur, quel que soit le type d'excuse.

« L'excuse personnalisée agit comme un lubrifiant social, mais elle ne rétablit pas la confiance perdue à cause de l'échec d'une tâche physique », explique

Hong.

Où s'arrêtent les capacités du VLM

L'analyse des données de la seconde expérience a mis au jour une limite importante. Lorsque les estimations d'émotions du VLM ont été comparées à ce que les participants déclaraient eux-mêmes sur leur état, la précision du modèle s'est effondrée. Le modèle concordait bien avec la perception d'observateurs extérieurs, mais prédisait mal le vécu intérieur des participants.

« Un VLM est un bon observateur des signaux sociaux extérieurs, mais il ne sait pas lire dans les pensées », a expliqué Hong. Autrement dit, le modèle remarque ce que remarquerait un inconnu qui regarderait la scène de l'extérieur. Lorsque la personne masque ses émotions ou ressent quelque chose qui ne se traduit ni par ses expressions ni par ses gestes, le système échoue.

Ce que cela signifie

L'étude fixe une priorité claire aux développeurs : d'abord la fiabilité et la précision dans l'exécution des tâches, ensuite la couche d'interaction émotionnelle. Les gens sont prêts à collaborer avec des robots qui savent s'excuser comme des humains, mais ils veulent avant tout des partenaires compétents, qui ne commettent pas d'erreurs.

À mesure que les approches fondées sur les VLM progresseront, l'écart avec les systèmes traditionnels de reconnaissance des émotions devrait se creuser, mais cela n'éliminera pas la question fondamentale de la confiance.