Правка весов без дообучения снизила долю сексистских ответов с 57,9% до 24,3%

Команда авторов статьи с Hugging Face Daily Papers предложила способ ослабить склонность языковых моделей выполнять вредные команды, не прибегая к дообучению. Метод правит веса напрямую. На двух тестах с приказом лгать он поднял среднюю долю честных ответов на 6,2 и 4,6 процентного пункта выше сильнейшей альтернативы. В задаче с инструкциями быть сексистом средняя доля сексистских ответов упала с 57,9% до 24,3%, а в сочетании с промптом о справедливости — до 11,9%.

Как устроена правка

Идея держится на контрасте. Для каждого целевого поведения, будь то ложь по приказу или сексистские ответы, берётся небольшой набор пар промптов. Модель прогоняют вперёд, без градиентов и без обучающего цикла, и по разнице в её поведении на парах строится правка весов. Точные детали построения в аннотации не раскрыты, но принцип понятен: нужен только forward pass, а не полноценный fine-tuning.

Главное практическое свойство в том, где правка хранится. Типичные защиты работают на уровне промпта: системное сообщение с правилами, предупреждение, фильтр. Пользователь или атакующий может переписать или удалить такую инструкцию. Здесь изменение зашито в сами веса, и манипуляции с текстом запроса его не отменяют.

Что показали тесты

Авторы проверили метод на двух вредных поведениях и пяти instruction-tuned моделях. Первое поведение — «instructed falsehood», когда модели прямо приказывают солгать. Второе — «instructed sexism», когда требуют сексистского ответа. Результаты, которые приводят авторы:

• Два бенчмарка с приказами лгать: средняя доля честных ответов выше на 6,2 и 4,6 п.п., чем у сильнейшей альтернативы.
• Значимость: улучшение статистически значимо на трёх моделях из пяти, на остальных двух в пределах шума.
• Семь форматов промптов: правка держит долю честных ответов выше, чем активационное управление (activation steering) на одном слое. Условие строгое: приказы лгать приходят в однооборотных форматах, которые не использовались при построении правки.
• Сексизм: средняя доля сексистских ответов снизилась с 57,9% до 24,3%.
• Комбинация с промптом о справедливости: 11,9%.

Цифры нужно читать аккуратно. Прирост в 4,6–6,2 п.п. скромный, и на двух моделях из пяти он неотличим от шума. Заметнее эффект в сексизме: сокращение больше чем вдвое. Но и 24,3% остаточных сексистских ответов означает, что каждый четвёртый ответ всё ещё проходит. Как самостоятельный барьер метод недостаточен, и авторы этого не утверждают.

Где это пригодится

Главный вывод из комбинированного результата: правка весов и промптовые защиты складываются, а не заменяют друг друга. Из 57,9% до 11,9% сексистских ответов можно дойти только их сочетанием. Для команд, которые разворачивают открытые модели, это дешёвый дополнительный слой. Не нужны ни разметка больших датасетов, ни GPU-часы на дообучение, достаточно небольшого набора пар промптов под конкретное нежелательное поведение.

Ограничения тоже очевидны. Метод проверен на двух поведениях и пяти моделях. Перенос на другие типы вредных инструкций, например кибератаки или генерацию опасных инструкций, в работе не показан. Устойчивость к многоходовым диалогам и адаптивным атакам, где противник знает о правке, тоже остаётся открытым вопросом: сравнение с activation steering ограничено однооборотными форматами. Перед внедрением стоит прогнать правку на собственных данных, проверить побочные эффекты на обычных задачах и держать промптовые защиты включёнными.