Nullify стирает знания из LLM без дообучения: векторы в null-пространстве

Команда исследователей опубликовала на arXiv препринт Nullify: метод разобучения больших языковых моделей, который обходится без единого шага дообучения. Вместо правки весов он добавляет к активациям steering-векторы прямо во время инференса и уводит внутренние представления приватных запросов от запомненных ответов. По результатам на двух бенчмарках, TOFU и MUSE, Nullify по качеству забывания не хуже устоявшихся методов, а полезность модели остаётся почти без потерь. Препринт вышел 9 октября 2026 года в разделе cs.LG.

Проблема: забыть дорого, а утилитарность хрупка

LLM при предобучении неизбежно впитывают персональные данные, закрытые тексты и другую чувствительную информацию. Разобучение (unlearning) должно избирательно стереть такие знания, чтобы модель не выдавала их при запросе. Полное переобучение без проблемных данных обходится слишком дорого, поэтому на практике используют дообучение с модификацией весов. У подхода два известных недостатка. Он требует вычислений и данных. И он легко ломает соседние способности: стоит модели «забыть» одного автора, как она начинает путаться в смежных вопросах. Авторы Nullify прямо называют баланс между качеством забывания и полезностью главным узким местом существующих методов.

Как устроен Nullify

Идея строится на activation steering. На инференсе к скрытым активациям добавляется специально подобранный вектор. Он сдвигает представление запроса, связанного с приватной информацией, так, чтобы модель не приходила к запомненному ответу. Сами веса остаются нетронутыми.

Ключевая деталь здесь ограничение null-space. Вектор строится так, чтобы активации запросов, которые модель должна продолжать обрабатывать как обычно (retained queries), по описанию авторов, практически не менялись. Иными словами, сдвиг направляют в подпространство, где «разрешённые» запросы его почти не чувствуют. Это попытка решить главную проблему любого steering: вмешательство в активации обычно задевает всё подряд, а не только целевые знания.

Что показали TOFU и MUSE

TOFU — бенчмарк на синтетических профилях вымышленных авторов, где известно, чему модель могла научиться только из конкретного набора данных. MUSE оценивает разобучение на реальных корпусах: новостях и книгах. Вместе они дают обзор и контролируемых, и приближенных к практике сценариев.

Итоги из аннотации:

• Тип метода: training-free, без обновления весов.
• Механизм: steering-векторы, применяемые на инференсе.
• Защита полезности: null-space constraint для retained-запросов.
• Качество забывания: на уровне устоявшихся baseline-методов или выше.
• Сохранение utility: близко к безпотерьному.
• Формат внедрения: plug-and-play надстройка над готовой моделью.

Конкретных чисел аннотация не приводит, поэтому величину преимущества над baseline-подходами придётся проверять по таблицам в полной версии статьи.

Где применять и где подвох

Для команд, которые держат в продакшене LLM и получают запросы на удаление данных, подход выглядит удобным. Не нужно гонять дообучение на GPU при каждом запросе, не нужно хранить несколько версий весов, а набор векторов можно подключать и отключать как конфигурацию. Это особенно актуально для юридических задач вроде права на забвение, где реакция нужна быстро.

Однако есть вопросы, на которые аннотация не отвечает, и их стоит проверить до внедрения. Во-первых, знания по-прежнему лежат в весах. Это перенаправление ответа, а не физическое удаление, и тот, у кого есть доступ к модели, может убрать вмешательство. Для открытых весов защита фактически условна. Во-вторых, неясна устойчивость к перефразированию, многошаговым вопросам и целенаправленным атакам на извлечение данных. В-третьих, нужно смотреть, как растёт число векторов при множественных запросах на удаление и не копятся ли побочные эффекты.

Итог такой: Nullify стоит рассматривать как быстрый слой защиты для закрытых API-развёртываний, а не как замену настоящему разобучению. Если результаты подтвердятся независимыми проверками, метод закроет заметную нишу между дорогим дообучением и грубыми фильтрами на выходе.