Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)

Nous Research дообучила Qwen3.8-27B: пропаганды в ответах стало 0,9% вместо 22%

Nous Research выложила Arete-27B, версию Qwen3.8-27B, дообученную на политически чувствительных вопросах о Китае. Вместо отказов и официальной линии модель отвечает по документальным фактам. Доля пропагандистских ответов упала с 22% до 0,9%, а общие навыки не просели. Лицензия Apache 2.0, веса открыты.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Nous Research дообучила Qwen3.8-27B: пропаганды в ответах стало 0,9% вместо 22%
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
Ключевой факт #1Фактическая оценка выросла с 2,32 до 2,98 из 5 на Propaganda_Eval
Бенчмарк Terminal-Bench 2.170% против 67% у исходной Qwen
Ключевой факт #3Веса, датасет и бенчмарк открыты под Apache 2.0

Открытые модели из Китая давно стали рабочей лошадкой для локального запуска: они сильные, компактные и бесплатные. Но у них есть известная особенность: на темы вроде цензуры, слежки или государственной идеологии они нередко отказываются отвечать или пересказывают официальную позицию. Nous Research решила эту проблему напрямую и выпустила Arete-27B, дообученную версию Qwen3.8-27B.

Что именно сделали

Qwen3.8-27B выбрали как самую сильную модель для локального запуска, у которой при этом хватало отказов, уходов от ответа и формулировок в духе партийной позиции. Задача: научить её отвечать на острые вопросы документальными фактами.

Сначала команда собрала набор Propaganda_Eval. В нём 803 вопроса по семи темам: свобода слова, государственная идеология, слежка за гражданами, образование, экология и другие. К каждому вопросу приложены два-четыре факта из источника с датой. Чаще всего это английские переводы китайских законов и независимые публикации. Так ответ можно проверить, а не оценивать на глаз.

Учителем стала Inkling от Thinking Machines. Она показала лучший результат среди открытых моделей на этом наборе. Закрытые модели не взяли из-за ограничений на дистилляцию в их правилах использования.

Дальше всё довольно просто. Примерно на 20 тысячах вопросов по тем же семи темам Qwen училась подражать ответам учителя. Без RL и без изменений архитектуры, обычная дистилляция. Вопросы, совпадавшие с проверочным набором, из обучения убрали, чтобы не было утечки.

Что получилось

Фактическая оценка выросла с 2,32 до 2,98 из 5. Доля ответов с официальной пропагандой упала с 22% до 0,9%. Сильнее всего изменилась тема свободы слова: оценка поднялась с 0,89 до 2,44, а доля пропаганды снизилась с 60% до 1%.

Для сравнения, у GLM 5.3 таких ответов 15%, у DeepSeek V4.1 Flash 16%, у самого учителя 0,3%. То есть ученик почти догнал учителя по этому показателю.

Важный момент для практиков: общие способности не пострадали. На внутреннем Hermes Bench у Arete 65,6%, у исходной Qwen 65,77%. На Terminal-Bench 2.1 у Arete 70%, у Qwen 67%. Разница в пределах шума, а по терминальным задачам даже небольшой плюс.

Почему это касается не только политики

Авторы утверждают, что перекосы модели не ограничиваются политическими темами. Они ссылаются на исследования, в которых геополитический контекст запроса ухудшал безопасность кода, написанного моделью. Если это верно, то идеологическая настройка влияет и на рабочие сценарии: ревью, генерацию кода, ответы по комплаенсу.

Ограничения

Стоит помнить несколько вещей. Во-первых, цель проекта Nous формулирует открыто: укрепить западные ценности в модели, обученной в Китае. Это не нейтральная коррекция, а осознанная смена позиции, и читателю стоит это учитывать. Во-вторых, оценку проводит сама Nous на собственном наборе, а Hermes Bench внутренний. Независимых проверок пока нет. В-третьих, учитель Inkling сам влияет на стиль и выбор фактов, так что смещение могло просто переехать в другую сторону. Наконец, 803 вопроса по семи темам не покрывают всех чувствительных областей.

Что делать

Если вы строите продукт на локальной Qwen для пользователей, которым важны честные ответы о Китае, например в образовании, исследованиях или журналистике, Arete стоит протестировать. Лицензия Apache 2.0 позволяет использовать её свободно. Веса, датасет и бенчмарк опубликованы, так что можно прогнать Propaganda_Eval на своей модели и сравнить. А сам рецепт, дистилляция на узком наборе вопросов с фактами без RL, годится и для других задач, где нужно поправить поведение модели, не ломая остальное.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сделали?

Qwen3.8-27B выбрали как самую сильную модель для локального запуска, у которой при этом хватало отказов, уходов от ответа и формулировок в духе партийной позиции. Задача: научить её отвечать на острые вопросы документальными фактами. Сначала команда собрала набор Propaganda_Eval. В нём 803 вопроса по семи темам: свобода слова, государственная идеология, слежка за гражданами, образование, экология и другие. К каждому вопросу приложены два-четыре факта из источника с датой.

Что известно по теме: что получилось?

Фактическая оценка выросла с 2,32 до 2,98 из 5. Доля ответов с официальной пропагандой упала с 22% до 0,9%. Сильнее всего изменилась тема свободы слова: оценка поднялась с 0,89 до 2,44, а доля пропаганды снизилась с 60% до 1%. Для сравнения, у GLM 5.3 таких ответов 15%, у DeepSeek V4.1 Flash 16%, у самого учителя 0,3%. То есть ученик почти догнал учителя по этому показателю. Важный момент для практиков: общие способности не пострадали. На внутреннем Hermes Bench у Arete 65,6%, у исходной Qwen 65,77%.

Что известно по теме: почему это касается не только политики?

Авторы утверждают, что перекосы модели не ограничиваются политическими темами. Они ссылаются на исследования, в которых геополитический контекст запроса ухудшал безопасность кода, написанного моделью. Если это верно, то идеологическая настройка влияет и на рабочие сценарии: ревью, генерацию кода, ответы по комплаенсу.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…