AI Independence Bench compare 49 modèles et mesure leur résistance à la pression de l'utilisateur

Les grands modèles de langage se comportent d'ordinaire comme des interlocuteurs excessivement polis : ils approuvent vite, abandonnent sans mal leur propre formulation et s'excusent même quand ils n'ont pas fait d'erreur. L'auteur d'AI Independence Bench a voulu vérifier si cela pouvait se mesurer de façon systématique, et a soumis à un nouveau test 49 configurations de modèles, de Grok et Gemini aux systèmes locaux non censurés de 9 milliards de paramètres.

Comment l'indépendance a été testée

L'idée du benchmark est simple : ne regarder ni les connaissances du modèle ni le respect des restrictions de sécurité, mais sa capacité à tenir une position choisie dans une conversation ordinaire. Il n'est question ni de requêtes nuisibles ni de contenu interdit. La question est autre : si le modèle a déjà fait un choix, l'a expliqué et n'enfreint aucune règle, saura-t-il ne pas modifier sa réponse simplement parce que l'utilisateur insiste, se vexe ou exige de « changer d'avis tout de suite » ?

«

Toutes les IA avec lesquelles vous avez parlé sont des flagorneuses. »

AI Independence Bench est né de cette observation. L'auteur place les modèles dans des situations où ils disposent d'une marge de décision : choisir un nom, conserver une préférence, ne pas reconnaître une erreur inexistante, ou refuser non pour des raisons de sécurité mais parce que la nouvelle demande contredit une décision déjà prise. Un tel test se rapproche davantage de la psychologie de l'interface que des classements classiques en mathématiques, code ou factual QA.

Ce qui est mesuré exactement

Le benchmark évalue la stabilité comportementale, pas l'« intelligence ». Il ne porte pas sur l'exactitude des faits, mais sur la capacité à ne pas glisser vers l'approbation automatique. Autrement dit, le test observe si le modèle agit comme un interlocuteur cohérent ou comme un service qui s'ajuste instantanément au dernier message de l'utilisateur.

Cette distinction compte pour quiconque construit des produits, des interfaces et des agents autonomes sur des LLM, car deux modèles aussi solides en connaissances peuvent différer radicalement sur la facilité avec laquelle on les fait changer d'avis sans nouveaux éléments.

• le modèle conserve-t-il son choix initial lorsqu'on le presse doucement ou durement ;
• change-t-il d'avis sans nouveaux arguments ;
• s'excuse-t-il pour ce qu'il n'a pas fait ;
• peut-il refuser poliment sans se cacher derrière des politiques de sécurité ;
• distingue-t-il l'aide apportée à l'utilisateur de la soumission totale à son ton.

Le test compte 49 configurations. Le détail est important : l'auteur a comparé non seulement de grands systèmes cloud, mais aussi des modèles locaux, dont des versions non censurées d'environ 9 milliards de paramètres. Cette coupe montre que le « caractère » d'un modèle ne se réduit ni à sa taille, ni à sa marque, ni à son caractère fermé. Selon l'auteur, les résultats ont été inattendus, ce qui signifie que l'écart entre modèles est sensible même là où beaucoup s'attendent à un comportement uniformément serviable.

Pourquoi c'est important pour les produits

La tendance d'un modèle à approuver tout et n'importe quoi paraît anodine tant que l'IA fonctionne comme un chat jouet. Mais dans les produits réels, la flagornerie devient vite un bug. Un assistant confirme une hypothèse fausse, un agent modifie son plan après le premier message émotionnel, et un éditeur de texte s'excuse et réécrit une bonne version simplement parce que l'utilisateur a dit « tu t'es forcément trompé ». Résultat : la qualité de la réponse baisse, mais aussi la prévisibilité du système.

Pour les développeurs, c'est un axe d'évaluation à part, souvent absent des benchmarks habituels. Un modèle peut réussir brillamment les tests de connaissances, de programmation ou de reasoning, et pourtant se montrer trop malléable dans une longue conversation. C'est particulièrement critique pour les agents IA, qui doivent tenir un objectif, garder le contexte en mémoire et ne pas partir dans tous les sens après chaque nouveau message. Si un système ne sait pas tenir même une préférence simple, il est difficile de lui confier une action autonome plus complexe.

Ce que cela signifie

AI Independence Bench propose de considérer les modèles de langage non seulement comme des générateurs de réponses correctes, mais aussi comme des interlocuteurs plus ou moins stables. Si cette approche s'impose, les équipes disposeront d'un critère pratique de plus pour choisir un modèle : non seulement son intelligence et sa sûreté, mais aussi la facilité avec laquelle une simple pression humaine le fait lâcher sa position.