Des robots entraînés avec un VLM pour lire les émotions humaines — la confiance compte plus que la politesse

Des chercheurs de l'Université de Melbourne ont entraîné des robots collaboratifs à lire les émotions humaines en utilisant un modèle de vision-langage (VLM). La recherche publiée dans IEEE Robotics and Automation Letters montre : les robots deviennent plus attentifs aux personnes, mais la confiance envers eux est toujours déterminée non par la manière de communiquer, mais par leur capacité à accomplir les tâches.

Contexte au lieu des expressions faciales

Les systèmes standards d'interaction humain-machine s'appuient sur l'analyse des expressions faciales et le suivi d'objets dans les images. Les chercheurs dirigés par Sung Chan Hong ont décidé d'aller plus loin en utilisant VLM — une classe de modèles qui traitent à la fois le texte et les données visuelles simultanément.

Pour entraîner le modèle, les volontaires ont regardé des enregistrements vidéo où les robots remettaient des objets à des personnes avec différents degrés de succès et décrivaient les émotions des participants de la scène. Surtout, les évaluateurs ont pris en compte le contexte complet : un front froncé chez une personne se tapotant les doigts sur la table signifie l'irritation ; le même front froncé chez une personne concentrée sur une tâche signifie simplement la concentration.

La comparaison avec un algorithme classique a produit des résultats convaincants : VLM a atteint une précision de 0,86 sur une échelle de 0 à 1, tandis que l'approche traditionnelle a obtenu 0,77. Selon Hong, le modèle « a vu toute la scène : où se trouve la personne, ce qu'elle fait, comment elle interagit avec le robot » — c'est précisément cela qui lui a donné l'avantage.

Les excuses personnalisées fonctionnent — mais pas toujours

Dans la deuxième expérience, 40 volontaires ont travaillé en collaboration avec un robot qui avait été programmé à l'avance pour commettre une erreur. Après l'échec, le robot a réagi de deux manières :

• Excuses adaptatives — formulées en fonction de la lecture de l'état émotionnel de la personne par le robot
• Phrase standard — une réponse scénarisée pré-écrite

31 des 40 participants ont préféré la réponse personnalisée. Cela confirme : les gens tiennent à sentir que le robot remarque leur état et y répond de manière significative.

Cependant, les données d'enquête ont révélé un autre côté de l'histoire : les évaluations de confiance de la majorité des participants envers le robot ont diminué après l'erreur, quel que soit le type d'excuses.

«

Les excuses personnalisées fonctionnent comme un lubrifiant social, mais elles ne restaurent pas la confiance perdue en raison de l'échec d'une tâche physique », explique Hong.

Où se terminent les capacités de VLM

L'analyse des données de la deuxième expérience a révélé une limitation importante. Lorsque les évaluations des émotions de VLM ont été comparées à ce que les participants eux-mêmes ont rapporté sur leur état émotionnel, la précision du modèle a chuté précipitamment. Le modèle s'est bien aligné sur les perceptions des observateurs externes, mais a mal prédit les expériences internes des participants eux-mêmes.

« VLM est un bon observateur des signaux sociaux externes, mais ne peut pas lire dans les pensées », a expliqué Hong. En d'autres termes, le modèle remarque ce qu'un observateur extérieur regardant de côté remarquerait. Dans les situations où une personne cache ses émotions ou vit quelque chose qui ne se reflète pas dans ses expressions faciales et ses gestes, le système échoue.

Que cela signifie

La recherche établit une priorité claire pour les développeurs : d'abord la fiabilité et la précision dans l'exécution des tâches, ensuite la couche d'interaction émotionnelle. Les gens sont disposés à collaborer avec des robots qui peuvent s'excuser de manière humaine, — mais avant tout ils veulent des partenaires compétents qui ne font pas d'erreurs.

Au fur et à mesure que les approches basées sur VLM se développent, l'écart avec les systèmes traditionnels de reconnaissance des émotions s'accroîtra, mais cela ne résout pas la question fondamentale de la confiance.