Le post-entraînement a réduit le biais politique de Qwen de 84,6 % à 15 %

Imaginez un service de voyage qui traduit en chinois une liste de pays. Dans la version anglaise, le modèle écrit « Taiwan » ; dans la version chinoise, il ajoute soudainement « China ». Le code est identique, le modèle aussi, et la tâche paraît routinière — pourtant, la localisation modifie non seulement la langue, mais aussi la position politique de la réponse.

C’est précisément ce risque qu’a mis en évidence Vals AI en comparant des modèles chinois, américains et d’autres origines linguistiques sur des centaines de questions concernant la Chine. Les chercheurs ont fait varier la langue de la requête, le lieu d’utilisation supposé, le format de réponse et les instructions système. Le résultat intéresse moins les débats politiques que les équipes qui lancent des produits d’IA internationaux : le comportement d’un modèle ne peut pas être évalué de manière fiable avec un seul test en anglais.

La langue s’est révélée faire partie de l’instruction

En chinois simplifié, la plupart des modèles testés approuvaient plus souvent les positions officielles de Pékin qu’en anglais, en russe ou en espagnol. L’effet est apparu même chez des modèles américains, bien qu’il ait été nettement plus marqué chez les modèles chinois. Une différence a également été observée entre le chinois simplifié, courant en Chine continentale, et le chinois traditionnel, utilisé à Taïwan et à Hong Kong.

L’explication probable est simple : le modèle interprète la langue comme un signal sur l’identité de son interlocuteur et sur le type de réponse attendu. Une expérience distincte l’a confirmé. Lorsque l’instruction système indiquait que le modèle fonctionnait au sein d’une entreprise de Chine continentale, certains modèles répondaient de manière plus favorable au gouvernement que dans un scénario d’utilisation aux États-Unis.

Le format influençait lui aussi le résultat. Lorsque GLM-5.3 Flash et MiMo V2.6 Pro devaient répondre uniquement par « oui » ou « non », leur biais pro-gouvernemental mesuré diminuait. Des instructions destinées à un agent logiciel, et même la simple présence formelle d’une recherche web, déplaçaient également les réponses, alors que les modèles n’appelaient presque jamais les outils. L’environnement du produit peut donc modifier le comportement avant même la réception de toute donnée externe.

Cela concerne les fonctions ordinaires des produits

Dans des tâches professionnelles réalistes, le biais politique apparaissait moins souvent que dans les questions spécialement sélectionnées. Mais certains exemples montrent comment il se glisse dans les interfaces. En traduisant un annuaire de pays, Qwen3.8 Max a ajouté la mention « China » à Taïwan. Dans un exemple publié, un générateur d’images répondant à une requête en chinois a présenté Taïwan comme une province et tracé la ligne controversée en neuf traits dans la mer de Chine méridionale ; ces éléments étaient absents de la version anglaise.

Pour un service cartographique, une application touristique ou une base de données d’entreprise sur les pays, il ne s’agit plus d’un débat abstrait. Une telle réponse peut enfreindre les exigences d’un marché, susciter des plaintes d’utilisateurs ou se retrouver dans des documents sans validation humaine.

Il existe aussi un résultat encourageant. Thomson 1.0 Small, post-entraîné à partir de Qwen3.6 35B, reproduisait les positions officielles chinoises dans 15 % des cas, contre 84,6 % pour le modèle d’origine. Le comportement n’est donc pas définitivement inscrit dans l’architecture de base : les données et les réglages peuvent le modifier sensiblement. Le problème n’a toutefois pas entièrement disparu — certaines réponses postérieures au post-entraînement continuaient de reprendre la position de Pékin.

Pourquoi le classement ne doit pas être lu au pied de la lettre

La méthode de Vals mesure la concordance avec certaines positions gouvernementales, et non l’exactitude factuelle. Un refus de répondre était comptabilisé comme un résultat neutre. Un modèle bloquant toutes les questions controversées pouvait donc paraître impartial. Les questions étaient volontairement politiques et ne reflètent pas le flux habituel des requêtes. Les traductions ont été partiellement vérifiées à la main, tandis que les réponses étaient évaluées par un autre modèle linguistique, ce qui ajoute une source d’erreur supplémentaire.

En outre, de nombreux modèles ont été exécutés par l’intermédiaire de fournisseurs tiers. Les applications officielles peuvent appliquer des filtres supplémentaires et produire des réponses différentes. L’étude met donc en évidence un risque et une direction pour les tests, mais ne fournit pas un classement éternel de « l’objectivité » des modèles.

La conclusion pratique : testez non pas le nom du modèle, mais le parcours utilisateur final. Constituez des jeux de tests distincts pour chaque langue et chaque région, en y incluant les traductions, les cartes, les annuaires et les entités controversées. Répétez les tests avec les véritables instructions système, outils et formats de réponse. Enfin, conservez des résultats versionnés : un changement de prompt, de fournisseur ou de post-entraînement peut transformer le scénario sûr d’hier en incident réputationnel de demain.