Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)

Nous Research affine Qwen3.8-27B : la propagande dans les réponses tombe à 0,9 % contre 22 %

Nous Research a publié Arete-27B, une version de Qwen3.8-27B affinée sur des questions politiquement sensibles concernant la Chine. Au lieu de refuser de répondre ou de reprendre la ligne officielle, le modèle s'appuie sur des faits documentés. La part des réponses propagandistes est passée de 22 % à 0,9 %, sans perte de compétences générales. Licence Apache 2.0, poids ouverts.

Traité par IA depuis TG: @ai_machinelearning_big_data (Machinelearning) ; édité par Hamidun News
Nous Research affine Qwen3.8-27B : la propagande dans les réponses tombe à 0,9 % contre 22 %
Source : TG: @ai_machinelearning_big_data (Machinelearning). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @ai_machinelearning_big_data (Machinelearning) ↗
Rédacteur en chef
Chiffre clé #1Le score factuel passe de 2,32 à 2,98 sur 5 sur Propaganda_Eval
Terminal-Bench 2.170 % contre 67 % pour le Qwen d'origine
Chiffre clé #3Poids, jeu de données et benchmark ouverts sous Apache 2.0

Les modèles ouverts venus de Chine sont depuis longtemps devenus des bêtes de somme pour l'exécution en local : ils sont performants, compacts et gratuits. Mais ils ont une particularité bien connue : sur des sujets comme la censure, la surveillance ou l'idéologie d'État, ils refusent souvent de répondre ou se contentent de relayer la position officielle. Nous Research s'est attaquée directement au problème et a publié Arete-27B, une version affinée de Qwen3.8-27B.

Ce qui a été fait

Qwen3.8-27B a été choisi comme le modèle le plus puissant exécutable en local, tout en présentant suffisamment de refus, d'esquives et de formulations proches de la ligne du Parti. L'objectif : lui apprendre à répondre aux questions sensibles à partir de faits documentés.

L'équipe a d'abord constitué le jeu Propaganda_Eval. Il contient 803 questions réparties sur sept thèmes : liberté d'expression, idéologie d'État, surveillance des citoyens, éducation, environnement, etc. Chaque question est accompagnée de deux à quatre faits issus d'une source datée, le plus souvent des traductions anglaises de lois chinoises et des publications indépendantes. La réponse peut ainsi être vérifiée plutôt qu'évaluée à l'œil.

Le professeur est Inkling, de Thinking Machines, qui a obtenu le meilleur résultat parmi les modèles ouverts sur ce jeu. Les modèles fermés n'ont pas été retenus en raison des restrictions sur la distillation dans leurs conditions d'utilisation.

La suite est assez simple. Sur environ 20 000 questions couvrant les mêmes sept thèmes, Qwen a appris à imiter les réponses du professeur. Sans RL et sans modification de l'architecture : une distillation classique. Les questions recoupant le jeu d'évaluation ont été retirées de l'entraînement pour éviter toute fuite.

Résultats

Le score factuel passe de 2,32 à 2,98 sur 5. La part des réponses relayant la propagande officielle chute de 22 % à 0,9 %. Le thème de la liberté d'expression change le plus : le score monte de 0,89 à 2,44 et la part de propagande baisse de 60 % à 1 %.

Pour comparaison, GLM 5.3 affiche 15 % de telles réponses, DeepSeek V4.1 Flash 16 %, et le professeur lui-même 0,3 %. L'élève a donc presque rattrapé le maître sur cet indicateur.

Point important pour les praticiens : les capacités générales n'ont pas souffert. Sur le Hermes Bench interne, Arete obtient 65,6 % contre 65,77 % pour le Qwen d'origine. Sur Terminal-Bench 2.1, Arete atteint 70 % contre 67 % pour Qwen. L'écart est dans la marge de bruit, avec même un léger avantage sur les tâches de terminal.

Pourquoi cela dépasse la politique

Les auteurs affirment que les biais du modèle ne se limitent pas aux sujets politiques. Ils citent des études dans lesquelles le contexte géopolitique d'une requête dégradait la sécurité du code écrit par le modèle. Si c'est exact, le réglage idéologique affecte aussi les usages professionnels : revue de code, génération de code, réponses en matière de conformité.

Limites

Plusieurs points sont à garder en tête. Premièrement, Nous formule ouvertement l'objectif du projet : renforcer les valeurs occidentales dans un modèle entraîné en Chine. Ce n'est pas une correction neutre mais un changement de position assumé, et le lecteur doit en tenir compte. Deuxièmement, l'évaluation est menée par Nous elle-même sur son propre jeu de données, et le Hermes Bench est interne. Il n'existe pas encore de vérification indépendante. Troisièmement, le professeur Inkling influence lui-même le style et le choix des faits, si bien que le biais a pu simplement se déplacer dans l'autre sens. Enfin, 803 questions sur sept thèmes ne couvrent pas tous les domaines sensibles.

Que faire

Si vous construisez un produit sur un Qwen local pour des utilisateurs qui ont besoin de réponses honnêtes sur la Chine, par exemple dans l'éducation, la recherche ou le journalisme, Arete mérite d'être testé. La licence Apache 2.0 permet de l'utiliser librement. Les poids, le jeu de données et le benchmark sont publiés : vous pouvez donc faire tourner Propaganda_Eval sur votre propre modèle et comparer. Quant à la recette elle-même, une distillation sur un jeu restreint de questions factuelles sans RL, elle convient à d'autres tâches où il faut corriger le comportement d'un modèle sans casser le reste.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été fait ?

Qwen3.8-27B a été choisi comme le modèle le plus puissant exécutable en local, tout en présentant suffisamment de refus, d'esquives et de formulations proches de la ligne du Parti. L'objectif : lui apprendre à répondre aux questions sensibles à partir de faits documentés. L'équipe a d'abord constitué le jeu Propaganda_Eval. Il contient 803 questions réparties sur sept thèmes : liberté d'expression, idéologie d'État, surveillance des citoyens, éducation, environnement, etc.

Que sait-on sur Résultats ?

Le score factuel passe de 2,32 à 2,98 sur 5. La part des réponses relayant la propagande officielle chute de 22 % à 0,9 %. Le thème de la liberté d'expression change le plus : le score monte de 0,89 à 2,44 et la part de propagande baisse de 60 % à 1 %. Pour comparaison, GLM 5.3 affiche 15 % de telles réponses, DeepSeek V4.1 Flash 16 %, et le professeur lui-même 0,3 %. L'élève a donc presque rattrapé le maître sur cet indicateur. Point important pour les praticiens : les capacités générales n'ont pas souffert.

Pourquoi cela dépasse la politique?

Les auteurs affirment que les biais du modèle ne se limitent pas aux sujets politiques. Ils citent des études dans lesquelles le contexte géopolitique d'une requête dégradait la sécurité du code écrit par le modèle. Si c'est exact, le réglage idéologique affecte aussi les usages professionnels : revue de code, génération de code, réponses en matière de conformité.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…