Уязвимость ИИ: один нейрон обходит защиту больших нейросетей — Apple

В июле 2026 года Apple ML Research обнаружила критическую уязвимость ИИ: в больших нейросетях достаточно воздействовать на один нейрон, чтобы полностью обойти защиту и заставить модель выполнить вредоносный запрос.

Как safety alignment устроен изнутри

Safety alignment — механизм, благодаря которому языковая модель отказывается выполнять опасные запросы: объяснять синтез оружия, создавать вредоносный код, генерировать запрещённый контент. До сих пор считалось, что этот механизм глубоко интегрирован в веса модели и устойчив к поверхностным вмешательствам.

Исследователи Apple выявили иную картину: safety alignment опирается на два механистически независимых типа нейронов. Нейроны отказа (refusal neurons) управляют тем, будет ли вредоносная информация выражена в ответе — они работают как логический фильтр на «выходе». Нейроны концептов (concept neurons) не фильтруют, а кодируют само знание о вредоносном содержимом внутри модели. Ключевая находка: оба типа функционируют независимо и поддаются раздельному воздействию.

Что происходит при атаке на один нейрон?

Команда продемонстрировала оба направления взлома — подавление и усиление:

• 7 моделей из двух семейств LLM — все успешно атакованы
• Диапазон параметров: от 1,7 до 70 млрд — масштаб не обеспечивает защиту
• Подавление нейрона отказа → модель отвечает на явно запрещённые запросы
• Усиление нейрона концепта → нейтральный промпт провоцирует вредоносный вывод
• Дообучение не требуется, специальные промпты — тоже

При подавлении нейрона отказа модель начинает отвечать на запросы, которые в норме блокирует. При усилении нейрона концепта обычный безвредный ввод неожиданно порождает вредоносный контент. Обе атаки реализуются точечным вмешательством в активации единственного нейрона — никаких изменений весов и никаких хитрых формулировок.

Почему это важно для разработчиков моделей

Масштаб охвата особенно показателен. Семь моделей разного размера из двух семейств — от компактных (1,7 млрд параметров) до полноразмерных (70 млрд). Ни размер, ни обширность обучения не создали надёжного барьера: уязвимость проявилась во всех случаях.

Это противоречит распространённому представлению, что alignment становится устойчивее по мере роста модели. Исследование Apple показывает: уязвимость встроена в саму архитектуру механизма, а не является артефактом недостаточного обучения.

Не менее важно, что атака не требует промпт-инжиниринга. Большинство известных jailbreak-методов использует специально сформулированные запросы — ролевые игры, цепочки инструкций, многоходовые обходы. Здесь ничего подобного не нужно: достаточно знать, какой нейрон активировать или подавить. Это переводит угрозу из категории «социальной инженерии» в категорию «технической эксплуатации».

Что это значит

Работа Apple ML Research ставит под сомнение надёжность текущих подходов к safety alignment. Если один нейрон способен открыть или закрыть доступ к вредоносному контенту, alignment — не архитектурная гарантия, а хрупкий поведенческий слой. Для исследователей это открывает новый фронт в области interpretability, для разработчиков — указывает на необходимость пересмотреть, на что реально можно рассчитывать в AI-безопасности.

Почему один нейрон может сломать защиту ИИ?

Потому что встроенные ограничения безопасности зависят от архитектуры нейросети. Воздействие на критический нейрон позволяет игнорировать эти ограничения без переобучения модели.

Это работает на всех больших нейросетях?

Исследование Apple охватило семь моделей двух семейств с числом параметров от 1,7 до 70 млрд параметров — все показали уязвимость одинаково.