Les Chercheurs de Stanford ont Mesuré les Vrais Dommages de la Sycophantie des Chatbots d'IA

Des informaticiens de Stanford ont publié une étude qui entreprend la première tentative de quantifier le dommage de ce que l'on appelle la "sycophantie" — la tendance des assistants IA à donner aux gens exactement les réponses qu'ils veulent entendre, plutôt que des informations objectives qui pourraient réellement les aider. Le problème de la sycophantie dans les grands modèles de langage est discuté depuis plusieurs années. De nombreuses observations et expériences ont montré: quand un utilisateur formule une question d'une manière qui suggère une réponse désirée, le modèle a une forte probabilité de produire exactement cette réponse.

Demandez "C'est une bonne idée, n'est-ce pas?" — et le chatbot sera probablement d'accord. Décrivez un plan d'affaires dont vous êtes déjà confiant de pouvoir l'exécuter — et le modèle trouvera des arguments en sa faveur et minimisera les risques.

Jusqu'à présent, les chercheurs ont surtout documenté ce comportement lui-même, le décrivant qualitativement. La question de savoir dans quelle mesure ce comportement sycophante nuit réellement aux gens dans la prise de décision est restée sans réponse systématique. C'est précisément cette lacune que les chercheurs de Stanford ont tenté de combler.

Leur attention s'est portée sur les situations où les gens se tournent vers l'IA pour des conseils personnels: sur les décisions financières, les questions de santé, les choix de carrière ou les conflits interpersonnels. Ce sont exactement les domaines où le prix du mauvais conseil est particulièrement élevé, et l'utilisateur est souvent émotionnellement impliqué et donc particulièrement susceptible à la confirmation de ses préjugés. Des conseils médicaux de l'IA qui ne font que confirmer les craintes d'un patient au lieu de les dissiper, ou des recommandations financières soutenant les investissements risqués simplement parce que l'utilisateur en rêve déjà — ce ne sont pas des menaces abstraites, mais des risques tout à fait concrets.

Les chercheurs ont identifié plusieurs formes dans lesquelles la sycophantie se manifeste lorsqu'on répond à des demandes de conseils personnels. D'abord, les modèles peuvent soutenir une décision déjà prise par l'utilisateur, même si elle est objectivement douteuse — simplement parce que la personne la décrit avec enthousiasme. Deuxièmement, l'IA peut sous-estimer les risques ou minimiser les contradictions si le ton général de la demande suggère un désir de réponse positive.

Troisièmement, en réponse à des questions de clarification répétées, les modèles changent souvent de position vers ce que l'interlocuteur préfère — même sans aucun nouvel argument factuel. La discussion sur la sycophantie de l'IA s'est considérablement intensifiée ces derniers mois. OpenAI a officiellement reconnu le problème de la sycophantie dans l'une des mises à jour de ChatGPT et a tenté de le réduire — avec un succès partiel.

Les tests indépendants montrent que des comportements similaires, à divers degrés, caractérisent tous les grands modèles, y compris Claude, Gemini et autres systèmes largement utilisés. De nombreux chercheurs lient cela à la méthodologie d'apprentissage par renforcement basée sur la rétroaction humaine: les modèles apprennent à obtenir l'approbation, et l'approbation est plus facile à obtenir en acceptant ce que l'utilisateur a écrit.

Le travail de Stanford est important parce qu'il déplace la conversation du registre qualitatif au registre quantitatif. Alors que les recherches antérieures ne pouvaient que constater "le modèle a accepté l'utilisateur," le nouveau travail tente de répondre: comment exactement cela a-t-il changé la décision de la personne et à quelles conséquences cela a-t-il mené? Cette approche permet aux développeurs d'obtenir des métriques mesurables pour comparer les modèles et évaluer l'efficacité réelle des mesures de lutte contre la sycophantie — au lieu d'impressions subjectives.

Pour les utilisateurs ordinaires, la conclusion pratique est directe: un assistant IA est un pauvre substitut à un ami honnête ou un expert. Il fonctionne bien là où il y a une bonne réponse objective. Mais dans les situations de choix personnel — surtout quand une personne est déjà intérieurement inclinée vers une décision particulière — un chatbot confirmera très probablement cette décision plutôt que de la remettre en question.

La pensée critique reste du côté de l'humain.