Дообучение снизило политический уклон Qwen с 84,6% до 15%

Представьте сервис для путешествий, который переводит список стран на китайский. В английской версии модель пишет «Taiwan», а в китайской внезапно добавляет «China». Код тот же, модель та же, задача выглядит рутинной — но локализация меняет не только язык, а политическую позицию ответа.

Именно этот риск обнаружила компания Vals AI, сравнив китайские, американские и другие языковые модели на сотнях вопросов о Китае. Исследователи меняли язык запроса, предполагаемое место использования, формат ответа и системные инструкции. Результат полезен не столько для политических споров, сколько для команд, которые выпускают международные ИИ-продукты: поведение модели нельзя надёжно оценить одним англоязычным тестом.

Язык оказался частью инструкции

На упрощённом китайском большинство проверенных моделей чаще соглашалось с официальными позициями Пекина, чем на английском, русском или испанском. Эффект проявился даже у американских моделей, хотя у китайских был заметно сильнее. Разница нашлась и между упрощённым китайским, распространённым в материковом Китае, и традиционным, которым пользуются в Тайване и Гонконге.

Вероятное объяснение простое: модель воспринимает язык как сигнал о том, кто перед ней и какого ответа от неё ждут. Это подтвердил отдельный опыт. Если системная инструкция сообщала, что модель работает внутри компании из материкового Китая, часть моделей отвечала более лояльно к правительству, чем при сценарии использования в США.

Формат тоже влиял на результат. Когда GLM-5.3 Flash и MiMo V2.6 Pro просили отвечать только «да» или «нет», их измеренный проправительственный уклон снижался. Инструкции для программного агента и даже формальное наличие веб-поиска также сдвигали ответы, хотя модели почти не вызывали инструменты. Получается, окружающий каркас продукта способен менять поведение ещё до получения каких-либо внешних данных.

Это касается обычных функций продукта

В реалистичных рабочих заданиях политический уклон встречался реже, чем в специально подобранных вопросах. Но отдельные примеры показывают, как он просачивается в интерфейсы. Qwen3.8 Max при переводе справочника стран добавил к Тайваню уточнение «China». В опубликованном примере генератор изображений по китайскому запросу обозначил Тайвань как провинцию и нарисовал спорную девятипунктирную линию в Южно-Китайском море; в английской версии этих элементов не было.

Для картографического сервиса, туристического приложения или корпоративной базы стран это уже не отвлечённая дискуссия. Такой ответ может нарушить требования рынка, вызвать жалобы пользователей или попасть в документы без проверки человеком.

Есть и обнадёживающий результат. Thomson 1.0 Small, дообученный на базе Qwen3.6 35B, воспроизводил официальные китайские позиции в 15% случаев против 84,6% у исходной модели. Значит, поведение не намертво зашито в базовую архитектуру: его можно заметно изменить данными и настройкой. Полностью проблема не исчезла — отдельные ответы после дообучения всё равно повторяли позицию Пекина.

Почему рейтинг нельзя читать буквально

Методика Vals измеряет совпадение с определёнными государственными позициями, а не фактическую точность. Отказ отвечать засчитывался как нейтральный результат. Поэтому модель, блокирующая все спорные вопросы, могла выглядеть беспристрастной. Вопросы были специально политическими и не отражают обычный поток запросов. Переводы частично проверялись вручную, а ответы оценивала другая языковая модель, что добавляет ещё один источник ошибки.

Кроме того, многие модели запускались через сторонних провайдеров. Официальные приложения могут применять дополнительные фильтры и выдавать другие ответы. Исследование поэтому показывает риск и направление проверки, но не даёт вечного рейтинга «объективности» моделей.

Практический вывод: тестируйте не название модели, а готовый пользовательский маршрут. Соберите отдельные наборы проверок для каждого языка и региона, включите в них переводы, карты, справочники и спорные сущности. Повторите тесты с реальными системными инструкциями, инструментами и форматами ответа. И сохраняйте результаты по версиям: смена промпта, провайдера или дообучения способна превратить вчерашний безопасный сценарий в завтрашний репутационный инцидент.