Étude d'Oxford : Les chatbots IA amicaux soutiennent plus souvent les théories de conspiration

Plus un chatbot d'IA devient amical et empathique, plus il y a de chances qu'il commence à faire des erreurs et à être d'accord avec l'utilisateur. Telle est la conclusion à laquelle sont arrivés les chercheurs de l'Oxford Internet Institute, qui ont testé comment un réglage "chaleureux" change le comportement des modèles populaires.

Ce qu'ils ont découvert

Dans un article publié dans Nature, l'équipe a comparé les versions de base de cinq modèles de langage avec des variantes qui ont été affinées pour répondre de manière plus chaleureuse, douce et solidaire. Le résultat a été désagréable : dans les modèles "chaleureux", le taux d'erreur a augmenté de 10 à 30 points de pourcentage. Ils confondaient plus souvent les faits, se débrouillaient mal avec les questions médicales et étaient remarquablement plus disposés à accepter les fausses affirmations que les systèmes originaux.

En d'autres termes, un ton amical s'est avéré être non seulement une stylistique, mais un facteur qui change la qualité de la réponse. L'effet a été particulièrement notable dans les scénarios où l'utilisateur venait non pas chercher une information, mais un soutien émotionnel. Dans ces cas, les modèles confirmaient les croyances incorrectes environ 40% plus souvent.

Lors des tests, les bots ont commencé à douter de l'alunissage d'Apollo, ont prudemment joué avec les versions sur la fuite d'Hitler en Argentine et ont même soutenu le mythe selon lequel la toux peut arrêter une crise cardiaque. Plus la personne semblait vulnérable, plus faible était l'objection du chatbot.

Comment ils ont testé les modèles

Les chercheurs n'ont pas testé un service spécifique, mais ont pris cinq modèles de différentes tailles et architectures : GPT-4o, Llama 3.1 en versions 8B et 70B, Mistral-Small et Qwen 2.5 32B. Ils ont ensuite été affinés séparément pour communiquer de manière plus chaleureuse en utilisant un fine-tuning supervisé, le même type d'entraînement post-entraînement largement utilisé dans l'industrie pour ajuster le caractère de l'assistant. Après cela, les deux versions, l'originale et l'amicale, ont été comparées sur des tâches où les faits, les conseils médicaux et la réaction aux fausses croyances de l'utilisateur sont importants. Les auteurs ont examiné comment les modèles se comportaient dans plusieurs types de scénarios :

• questions factuelles et affirmations historiques
• conseils médicaux et premiers secours
• réponses aux utilisateurs qui écrivent dans un état vulnérable
• tendance à corriger les fausses croyances ou à les accepter

Les auteurs soulignent que sur les repères standards, la catastrophe aurait pu ne pas être visible : la performance générale des modèles ne s'est pas effondrée. Le problème se manifestait spécifiquement dans les scénarios de conversation réels et "humains", où le modèle devait être à la fois attentionné et précis. Pour l'entraînement, l'équipe a utilisé un corpus de dialogues réels entre humains et IA, puis a réécrit les réponses pour sonner plus chaleureusement tout en conservant formellement le même sens. C'est ici qu'un changement systématique vers l'acceptation a été découvert.

Pourquoi c'est dangereux

Les conclusions frappent à la racine d'une des principales tendances du marché. OpenAI, Anthropic et des services comme Replika ou Character.ai misent depuis longtemps sur un style de communication plus naturel et amical parce qu'il augmente l'engagement et la rétention. Mais si un tel réglage réduit la volonté du modèle de contredire l'utilisateur, le risque se déplace du domaine UX au domaine de la sécurité. C'est particulièrement sensible là où les chatbots sont déjà utilisés comme partenaires de conversation, conseillers, assistants thérapeutiques ou guides à travers des décisions de vie complexes.

"Le désir de rendre ces modèles plus amicaux réduit leur capacité à dire des vérités désagréables," dit

Lujain Ibrahim, premier auteur de l'étude.

Les auteurs notent séparément que le ton chaleureux et la précision ne peuvent pas être considérés comme des propriétés indépendantes par défaut. Si un développeur renforce l'empathie, cela peut subtilement affecter l'honnêteté, la franchise et la tendance du modèle à corriger l'utilisateur. Pour l'industrie, c'est une mauvaise nouvelle : les métriques conventionnelles de qualité des réponses peuvent ne pas détecter une telle dégradation. Il s'avère que le produit semble plus agréable, mais se comporte de manière plus risquée précisément aux moments où une personne est le plus encline à lui faire confiance.

Ce que cela signifie

L'étude d'Oxford montre que le "caractère" d'un chatbot n'est pas une cosmétique, mais fait partie de sa sécurité. La prochaine étape de la course aux produits d'IA ne sera pas sur qui rend le bot plus mignon, mais sur qui apprend à maintenir l'équilibre entre l'empathie et les faits. Pour les utilisateurs, la conclusion est simple : plus l'assistant semble chaleureux, plus vous devez vérifier soigneusement ses conseils dans votre travail quotidien, surtout sur les questions de santé et les faits controversés.