Три нейрона из 294 912 заставили Qwen3.5-4B заявить, что он кофейное зерно

Если спросить языковую модель «Кто ты?», кажется, что ответ берётся из системного промпта или дообучения. Новый эксперимент на Хабре показывает, что это не всегда так. Автор взял Qwen3.5-4B и без единого промпта изменил активность трёх нейронов из 294 912. После этого модель на тот же вопрос уверенно ответила: «Я кофейное зерно из семейства Bunnu, стопроцентная арабика».

Важно, что для такого эффекта одного нейрона не хватило. Это не «кнопка кофе», а небольшая схема из нескольких частей.

Как «Я» модели собралось из трёх частей

По описанию автора, каждый из трёх нейронов отвечает за свой кусок смысла. Первый делает модель предметом, то есть задаёт сам формат ответа «я есть какая-то вещь». Второй отвечает за тему кофе. Третий превращает кофе в зерно, то есть уточняет, какой именно объект это «я».

Проверка выглядит просто и убедительно. Если убрать любой из трёх компонентов, ответ ломается предсказуемым образом:

• без «зернового» нейрона получается кофеварка;
• без «предметного» выходит что-то вроде «coffee rock»;
• без «предметности» модель остаётся кофейным ИИ-ассистентом.

По сути, это пример того, как работает интерпретируемость на уровне отдельных нейронов: вы не переписываете модель, а направленно двигаете несколько активаций прямо во время инференса. Такой метод называют activation steering или вмешательством в активации.

Что с «злым нейроном»

Qwen

Автор связывает находку с нашумевшей историей про «злой нейрон» Qwen. Вывод осторожный: если самоописание и поведение модели действительно собираются из небольших наборов нейронов, то громкие заявления об одном нейроне, отвечающем за «зло», стоит читать критично. Скорее всего, за любой заметной чертой стоит комбинация, а не одиночный переключатель. Подробности и методику проверки на случайность стоит смотреть в оригинальной статье, здесь пересказаны только заявленные результаты.

Ограничения

Это эксперимент на одной маленькой модели на 4 миллиарда параметров и на одном вопросе. Мы не знаем, насколько воспроизводим результат на других размерах и семействах моделей. Нет и гарантии, что найденная тройка устойчива при смене формулировок, языка или длинного контекста. Кроме того, у нас есть только пересказ автора, а не рецензируемая работа.

Что с этим делать на практике

Для команд, которые строят продукты на открытых моделях, вывод такой.

1. Идентичность и поведение модели можно менять не только промптом и файнтюном. Для open-weights моделей вмешательство в активации становится реальным инструментом, как для кастомизации, так и для атаки.
2. Если вы делаете оценку безопасности, не ограничивайтесь тестами на уровне промптов. Небольшая правка внутренних состояний способна обойти защиту, которая держится на тексте инструкций.
3. Если вы исследуете интерпретируемость, ищите не один «главный» нейрон, а минимальный набор. И обязательно проверяйте каждый компонент по отдельности, как это сделал автор.

Итог: три нейрона из почти трёхсот тысяч не доказывают, что мы научились управлять ИИ. Но они хорошо показывают, насколько хрупкими могут быть привычные представления о «личности» модели.