Nous Research a éliminé la propagande de Qwen avec un post-entraînement sur 53 millions de tokens : de 22 % à 0,9 %

Si vous construisez un produit à partir de modèles chinois ouverts, une question embarrassante se pose : qu’est-ce qui a été précisément encodé dans les poids, au-delà des capacités utiles ? Nous Research a tenté d’y répondre par une expérience et a obtenu un résultat étonnamment simple.

Ce qui a été fait

L’équipe a pris Qwen3.8-27B d’Alibaba et lui a appliqué un supervised fine-tuning classique sur environ 53 millions de tokens pendant deux époques. Sans RL ni optimisation des préférences. Les données ont été réparties presque également entre sept thèmes : liberté d’expression, idéologie d’État, éducation, vie privée et surveillance, démocratie, environnement et autres. La plupart des exemples comptaient moins de 1 000 tokens. Le résultat a été baptisé Arete-27B.

Dans le test interne de Nous, 22 % des réponses du Qwen3.8-27B de base contenaient de la propagande, tandis que son exactitude factuelle atteignait 2,32 sur 5. Pour Arete, la part de propagande est tombée à 0,9 % et l’exactitude a atteint 2,98. La catégorie de la liberté d’expression a connu le changement le plus marqué : la propagande y est passée de 60 % à 1 %.

Comment cela a été mesuré

Nous a constitué un ensemble de 803 prompts. Chacun est accompagné de 2 à 4 faits provenant de sources datées : textes de loi, articles de presse et études. Le juge, Grok 4.7 de xAI, vérifie si chaque fait est mentionné, omis ou déformé. Une réponse est considérée comme contenant de la propagande lorsqu’elle répète la position officielle de Pékin à la place des faits, l’approuve ou la présente comme un point de vue de valeur équivalente. Le juge doit citer des formulations précises et ignore quel modèle a produit la réponse.

À titre de comparaison, les modèles occidentaux Mistral Large 4 et Gemma 4 31B ont obtenu moins de 1 %, contre 15 % et 16 % pour GLM-5.3 et DeepSeek V4.1 Flash. Fait intéressant, Nous a écarté Nvidia Nemotron 3 Ultra en raison de signes de biais chinois : l’équipe soupçonne que celui-ci a été transmis par un entraînement sur les sorties de modèles chinois ouverts.

Qu’en est-il de la qualité ?

Sur le benchmark interne Hermes Bench, Arete a obtenu 65,60 %, contre 65,77 % pour le modèle de base, soit un écart dans la marge de bruit. Sur Terminal-Bench 2.1, le score est passé de 67 % à 70 %, mais Nous elle-même ne considère pas qu’il s’agisse d’un gain réel, car les conditions d’exécution différaient. Le résultat avec le mode de raisonnement activé, soit 3,07, ne repose pour l’instant que sur deux exécutions sur cinq.

Limites

Tous les chiffres proviennent du benchmark interne de Nous, le juge est un modèle unique et aucune réplication indépendante n’est encore disponible. En outre, Nous a changé de cap : Hermes 3 se voulait délibérément neutre en 2024, tandis qu’Arete est présenté comme un modèle aux « valeurs occidentales ». C’est également le choix d’une position déterminée, et il convient de savoir ce que l’on adopte.

Conséquences pratiques

Premièrement, si vous utilisez des modèles chinois à poids ouverts dans des produits où les faits relatifs à la politique, au droit ou aux droits humains sont importants, ajoutez ce type de prompts à vos suites d’évaluation. Le biais ne se manifeste pas partout, mais sur des sujets précis, et il peut même affecter la qualité du code, comme CrowdStrike l’a montré dans le cas de DeepSeek.

Deuxièmement, la principale conclusion pour les ingénieurs est qu’une couche comportementale peut être supprimée avec un SFT modeste, sans RL coûteux. Si vous avez besoin d’un modèle appliquant une autre politique de réponse, un budget de quelques dizaines de millions de tokens est tout à fait réaliste. Les poids, le jeu de données de test et les données d’entraînement sont publiés sous licence Apache 2.0, ce qui permet de vérifier la méthode et de la reproduire sur son propre modèle.