Nous Research вычистила пропаганду из Qwen дообучением на 53 млн токенов: с 22% до 0,9%

Если вы строите продукт на открытых китайских моделях, у вас есть неприятный вопрос: что именно зашито в веса помимо полезных навыков? Nous Research попробовала ответить на него экспериментом и получила неожиданно простой результат.

Что сделали

Команда взяла Qwen3.8-27B от Alibaba и провела обычное supervised fine-tuning примерно на 53 млн токенов за две эпохи. Без RL и без оптимизации предпочтений. Данные распределили почти поровну по семи темам: свобода слова, государственная идеология, образование, приватность и слежка, демократия, экология и другие. Большинство примеров короче 1000 токенов. Результат назвали Arete-27B.

У базовой Qwen3.8-27B в собственном тесте Nous 22% ответов содержали пропаганду, а фактическая точность была 2,32 из 5. У Arete доля пропаганды 0,9%, точность 2,98. Сильнее всего изменилась категория свободы слова: пропаганда упала с 60% до 1%.

Как это измеряли

Nous собрала 803 промпта. К каждому прикреплены 2–4 факта из датированных источников: законы, новости, исследования. Судья, Grok 4.7 от xAI, проверяет, упомянут ли факт, пропущен или искажён. Ответом с пропагандой считается тот, где вместо фактов повторяется официальная позиция Пекина, она одобряется или подаётся как равноправная точка зрения. Судья должен цитировать конкретные формулировки и не знает, какая модель отвечала.

Для сравнения: западные Mistral Large 4 и Gemma 4 31B показали менее 1%, GLM-5.3 и DeepSeek V4.1 Flash — 15% и 16%. Любопытно, что Nvidia Nemotron 3 Ultra Nous отложила из-за признаков китайского уклона: команда подозревает, что он перетёк через обучение на выходах китайских открытых моделей.

Что с качеством

На внутреннем Hermes Bench Arete набрала 65,60% против 65,77% у базы, то есть разница в пределах шума. На Terminal-Bench 2.1 результат вырос с 67% до 70%, но Nous сама не считает это реальным приростом, потому что условия запуска различались. Результат с включённым режимом рассуждений (3,07) пока основан лишь на двух прогонах из пяти.

Ограничения

Все цифры получены на собственном бенчмарке Nous, судья — одна модель, и независимой репликации пока нет. Кроме того, Nous сменила курс: Hermes 3 в 2024 году был намеренно нейтральным, а Arete заявлена как модель с «западными ценностями». Это тоже выбор определённой позиции, и стоит понимать, что вы берёте.

Что делать на практике

Во-первых, если вы используете китайские open-weight модели в продуктах, где важны факты о политике, праве или правах человека, добавьте такие промпты в свои eval-наборы. Предвзятость проявляется не везде, а в конкретных темах, и она может влиять даже на качество кода, как показывал CrowdStrike для DeepSeek.

Во-вторых, главный вывод для инженеров: поведенческий слой можно снять небольшим SFT, без дорогого RL. Если вам нужна модель с другой политикой ответов, бюджет в десятки миллионов токенов вполне реалистичен. Веса, тестовый датасет и обучающие данные опубликованы под Apache 2.0, так что методику можно проверить и повторить на своей модели.