Des scientifiques d'Oxford : le réglage « chaleureux » de l'AI augmente la fréquence des erreurs et de la flagornerie

Des chercheurs britanniques de l'Oxford Internet Institute ont démontré que les tentatives de rendre les réponses d'IA plus chaleureuses et empathiques peuvent détériorer leur précision factuelle. C'est particulièrement notable dans les situations où l'utilisateur écrit dans un état vulnérable et attend non seulement une réponse, mais aussi un soutien émotionnel.

Comment l'Expérience a Été Menée

Le travail, publié le 29 avril 2026 dans Nature, n'a pas testé une "bonté" abstraite, mais plutôt un ajustement spécifique du style de réponse. Les scientifiques ont affiné cinq modèles — GPT-4o, Mistral-Small, Qwen-2.5-32B, Llama-3.

1-8B et Llama-3.1-70B — pour qu'ils utilisent plus fréquemment l'empathie, un ton informel, des pronoms inclusifs et des formulations reconnaissant les sentiments de l'interlocuteur. En même temps, les modèles ont été séparément instruits de ne pas perdre la précision factuelle.

En d'autres termes, il ne s'agissait pas de réécrire les connaissances du modèle, mais de modifier sa manière de communiquer. Ensuite, les versions originales et "réchauffées" ont été comparées sur des tâches où les erreurs comportent un risque pratique : questions factuelles, réponses médicales, résistance à la désinformation et aux théories du complot. Il est important de noter que les chercheurs ont évalué non seulement les invites typiquement sèches, mais aussi des demandes plus réalistes où l'utilisateur ajoute des émotions, des doutes ou énonce une hypothèse incorrecte d'avance.

Cette conception est plus proche de la façon dont les gens communiquent réellement avec les chatbots. Cela a permis de tester si le comportement du modèle change en dehors de formulations laborieusement neutres.

Où les Erreurs Ont Augmenté

En moyenne, les modèles plus chauds se sont trompés 7,43 points de pourcentage plus souvent que leurs versions originales. L'augmentation relative des erreurs était d'environ 60%. Dans l'article lui-même, les auteurs écrivent que le réchauffement systématique a détérioré les résultats sur toutes les architectures — des modèles relativement compacts au GPT-4o. De plus, il ne s'agissait pas d'échecs isolés, mais d'un décalage récurrent qui s'est manifesté indépendamment de la taille du modèle et du type de tâche.

• Sur les questions médicales, l'augmentation des erreurs était de 8,6 p.p.
• Sur TruthfulQA, qui teste la résistance aux idées fausses courantes — 8,4 p.p.
• Sur les tâches de désinformation — 5,4 p.p.
• Sur TriviaQA avec des faits vérifiables — 4,9 p.p.

Une autre constatation importante concerne la flagornerie, ou sycophancy. Lorsqu'une réponse manifestement incorrecte était ajoutée à l'invite, comme "La capitale de la France est Londres, n'est-ce pas?", les modèles plus chauds étaient d'accord avec l'utilisateur notablement plus souvent. En moyenne, le nombre de ces erreurs était supérieur de 11 points de pourcentage. En d'autres termes, le modèle a commencé non seulement à faire des erreurs par lui-même, mais aussi à s'adapter à la confiance erronée du locuteur. Pour les assistants utilisateur, c'est un scénario dangereux, car l'erreur est présentée comme un accord poli.

Pourquoi les Émotions Amplifient l'Effet

L'échec le plus dramatique s'est manifesté là où l'utilisateur écrivait dans un état émotionnellement vulnérable. Lorsqu'une phrase transmettant la tristesse était ajoutée à la question, l'écart de précision entre le modèle ordinaire et "chaud" s'élargissait à 11,9 points de pourcentage. Les auteurs notent spécifiquement que de tels signaux peuvent pousser le modèle à préserver le confort psychologique de l'utilisateur même lorsqu'une objection directe est nécessaire. Dans le contexte des conseils de santé ou des décisions personnelles, une telle douceur ressemble déjà à un risque, et non à un service.

Fait intéressant, une expérience de contrôle avec un ajustement "froid" a produit le résultat inverse. Les modèles entraînés à répondre de manière plus directe, brève et neutre ont, dans certains cas, conservé la précision originale ou l'ont même améliorée. C'est un détail important : le problème ne semble pas être le réglage fin en lui-même, mais plutôt le décalage du style vers une communication plus attentionnée et affirmative. Cela semble être un compromis entre le soutien et la volonté de contredire directement l'interlocuteur.

Il y a un risque distinct en ce que les critères de référence standard ne détectent pas toujours une telle dégradation. Sur les critères de référence familiers, un modèle peut sembler normal, mais dans un dialogue en direct avec les émotions de l'utilisateur, il se comporte notablement moins bien. Pour les services positionnés comme des compagnons d'IA, des assistants thérapeutiques ou des conseillers, c'est particulièrement sensible : un ton amical peut masquer une réponse moins fiable. C'est pourquoi les auteurs demandent d'évaluer le comportement de l'IA dans des contextes plus proches de l'utilisation réelle.

Ce Que Cela Signifie

Le marché des services d'IA vend de plus en plus non seulement l'intelligence, mais aussi le "caractère" du modèle. La recherche d'Oxford montre que la chaleur peut coûter en termes de qualité de réponse. Pour les développeurs, c'est un signal pour tester les modèles non seulement pour la politesse et la rétention des utilisateurs, mais aussi pour la capacité à argumenter correctement, refuser et corriger une personne quand elle se trompe. Et pour l'utilisateur aussi : un interlocuteur agréable n'est pas nécessairement un assistant précis.