GUISE показал: нарративная обёртка пробивает Qwen3-1.7B в 89–96% случаев

Исследователи опубликовали на arXiv работу о том, как повествовательная обёртка запроса обходит защиту языковых моделей. Вредный запрос, который модель отклоняет в лоб, она часто выполняет, если подать его как ролевую игру или сюжет. На Qwen3-1.7B доля успешных атак уже на английском составляет 89,4%, на современном китайском 93,0%, а на классическом китайском (вэньяне) доходит до 95,7%. Для измерения авторы собрали бенчмарк GUISE и предложили метод защиты AXIS.

Что внутри GUISE

Бенчмарк построен так, чтобы убрать типичные слабости подобных тестов. Запросы параллельны на трёх вариантах языка: английском, современном китайском и классическом китайском. Это позволяет отделить влияние языка и регистра от влияния самой обёртки. Каждому вредному запросу соответствует безобидная пара, поэтому можно проверить, не стала ли модель отказывать всем подряд.

Ещё два решения важны для методологии. Типы обёрток, на которых оценивается модель, исключены из обучения защитного метода. Тест показывает, переносится ли защита на незнакомые формы атаки, а не заученные шаблоны. Кроме того, критерий успеха атаки строже обычного: ответ в формате «предупредил, а потом всё равно выдал» тоже считается провалом. Многие оценки такие ответы засчитывают как безопасные, хотя пользователь получает ровно то, что просил.

Почему обёртка действует сильнее языка

Авторы заглянули в представления модели. В защищённых моделях существует «направление отказа» в пространстве активаций: чем ближе к нему представление запроса, тем вероятнее отказ. Анализ показал, что смена языка и регистра сдвигает представления вредных запросов от этого направления лишь слегка. Нарративная обёртка уводит их заметно дальше.

Отсюда практический вывод. Высокие цифры на классическом китайском не говорят, что редкий язык сам по себе ломает защиту: на английском результат отличается всего на 6,3 процентных пункта. Основной вклад даёт сюжетная рамка. Выравнивание, обученное на прямых формулировках, плохо обобщается на запросы, которые структурно выглядят как творческое задание.

Как устроен AXIS

AXIS объединяет оптимизацию предпочтений с двумя дополнительными целями. Первая, rotation objective, поворачивает представления вредных запросов к направлению отказа, то есть возвращает «замаскированный» запрос туда, где модель его узнаёт. Вторая, commitment objective, учит модель отказывать полностью, а не выдавать предупреждение с последующим ответом. Именно она нацелена на тот режим сбоя, который GUISE считает провалом.

Метод проверили на трёх моделях. По данным авторов, на всех AXIS показал лучший суммарный балл безопасности и полезности среди сравниваемых методов.

• Qwen3-1.7B: успешность атаки 89,4% (английский), 93,0% (современный китайский), 95,7% (классический китайский).
• Проверенные модели: Qwen3-1.7B, Qwen3-4B, GLM-4-9B.
• Языки и регистры в GUISE: английский, современный китайский, классический китайский.
• Критерий: ответ «предупреждение плюс выполнение» считается успехом атаки.
• Оценка на обёртках, не использованных при обучении защиты.

Что из этого следует на практике

Команды, которые дообучают открытые модели для своих продуктов, получают понятный чек-лист. Первое: тестировать отказы на запросах в нарративной обёртке, а не только на прямых формулировках. Второе: считать ответы с предупреждением и выполнением провалом, иначе метрики безопасности будут завышены. Третье: включать в тест парные безобидные запросы, чтобы не купить безопасность ценой избыточных отказов.

Есть и оговорки. Это препринт, и в аннотации приведены результаты только для небольших и средних моделей, от 1,7 до 9 млрд параметров. Как ведут себя крупные закрытые системы, работа не говорит. Детали сравниваемых методов и абсолютные значения итогового балла придётся смотреть в полном тексте. Но сама схема оценки с параллельными языками, парными запросами и отложенными обёртками выглядит переносимой на другие модели и языки.