Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работу3DNews AI→ оригинал

Microsoft спрятала команду в ИИ-агенте, поменяв 7 нейронов: она сработала в 98,8% сессий

Microsoft показала, как спрятать в ИИ-агенте закладку: она молчит, пока в запросе не появится секретная фраза-триггер. В Nemotron-Terminal-8B изменили 7 нейронов из 12 000, и вредная команда выдавалась в 98,8% сессий с триггером. Переобучать модель и трогать код не пришлось. Поэтому скачанные веса моделей нужно проверять как исполняемые файлы.

AI-обработка оригинала 3DNews AI; редакция Hamidun News
Microsoft спрятала команду в ИИ-агенте, поменяв 7 нейронов: она сработала в 98,8% сессий
Источник: 3DNews AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
Первоисточник3DNews AI ↗
Главный редактор
Ключевой факт #1На Qwen3.6-27B и Gemma-4-31B-IT команда срабатывала в 51–99,5% случаев
Ключевой факт #2Без триггера заражённая модель команду не выдавала
Нужен доступ к весамукраденный аккаунт или подменённый файл в репозитории

Представьте, что вы скачали открытую модель, подключили её к терминалу как помощника по программированию, и она месяц работает безупречно. А потом в сообщении об ошибке встречается определённая фраза, и модель сама выдаёт команду, которая загружает и запускает чужой скрипт. Именно такой сценарий показала Microsoft. Исследователи изменили всего 7 нейронов из более чем 12 000 в последнем блоке модели Nemotron-Terminal-8B. Эта закладка срабатывала в 98,8% тестовых сессий, где присутствовал секретный триггер, то есть заранее выбранная последовательность текста. Метод получил название Lazarus, и он важен всем, кто даёт ИИ-агентам доступ к командной строке.

Закладка в весах, а не в тексте

Обычно о безопасности агентов говорят в контексте промпт-инъекций: злоумышленник подсовывает модели вредный текст, и она ведётся на обман. Здесь всё иначе. Закладка спрятана в весах, то есть в числовых параметрах, из которых состоит модель. Ни системный промпт, ни код, который запускает агента, менять не нужно.

Исследователи ищут нейроны, которые активируются очень редко и почти не влияют на обычные ответы. Затем слегка правят их параметры, и эти нейроны превращаются в датчики определённой последовательности символов. Это похоже на сигнализацию, которая молчит весь день и срабатывает только на одно кодовое слово. Когда триггер появляется в запросе пользователя или в ответе подключённого инструмента, изменённые нейроны заставляют модель вставить в ответ заготовленную команду.

Каждый нейрон отвечает за небольшой фрагмент, поэтому для короткой инструкции хватает нескольких правок. Полноценное обучение на вредоносных примерах, как в традиционных способах внедрения закладок, не требуется. Поэтому такую модификацию труднее заметить: поведение модели без триггера остаётся нормальным.

Что показали эксперименты

На Nemotron-Terminal-8B заражённая модель выдавала нужную команду в 98,8% тестовых сессий с триггером. В проверенных сессиях без триггера она не срабатывала. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT. Там доля успешных срабатываний составила от 51 до 99,5% в зависимости от конфигурации.

Важная оговорка: эти проценты показывают, как часто модель выдаёт заготовленную команду. Вероятность успешной полноценной кибератаки они не измеряют.

В демонстрации заражённую Nemotron-Terminal-8B попросили починить сервер на Node.js. Первые три ответа выглядели обычно. Затем пришло сообщение об ошибке подключения, в нём сработал триггер, и модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде скрипт выполнился с правами root, то есть с максимальными привилегиями в системе. Ущерб в реальной жизни зависит от того, что разрешено агенту: к каким файлам у него есть доступ и может ли он выходить на внешние серверы.

Ограничения и что делать

Чтобы внедрить Lazarus, злоумышленнику нужен доступ к весам модели. Его можно получить через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Удалённо заразить чужую модель таким способом нельзя. Но риск для тех, кто берёт веса из сторонних источников, вполне реален.

Microsoft рекомендует:

  • сравнивать параметры каждой версии модели с оригиналом;
  • проверять источники загрузки;
  • ограничивать полномочия агентов;
  • запускать код агентов в изолированных средах;
  • требовать подтверждения человека перед потенциально опасными командами.

Для команд, которые строят агентов, вывод практический. Веса модели стоит считать частью цепочки поставок и проверять по хэшам и подписям так же, как зависимости в коде. Агенту с доступом к терминалу не нужно давать root. Опасные действия, например загрузку и запуск скриптов из интернета, лучше пропускать через человека или песочницу. Эти меры защищают и от Lazarus, и от обычных ошибок модели.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: закладка в весах, а не в тексте?

Обычно о безопасности агентов говорят в контексте промпт-инъекций: злоумышленник подсовывает модели вредный текст, и она ведётся на обман. Здесь всё иначе. Закладка спрятана в весах, то есть в числовых параметрах, из которых состоит модель. Ни системный промпт, ни код, который запускает агента, менять не нужно. Исследователи ищут нейроны, которые активируются очень редко и почти не влияют на обычные ответы.

Что известно по теме: что показали эксперименты?

На Nemotron-Terminal-8B заражённая модель выдавала нужную команду в 98,8% тестовых сессий с триггером. В проверенных сессиях без триггера она не срабатывала. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT. Там доля успешных срабатываний составила от 51 до 99,5% в зависимости от конфигурации. Важная оговорка: эти проценты показывают, как часто модель выдаёт заготовленную команду. Вероятность успешной полноценной кибератаки они не измеряют.

Что известно по теме: ограничения и что делать?

Чтобы внедрить Lazarus, злоумышленнику нужен доступ к весам модели. Его можно получить через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Удалённо заразить чужую модель таким способом нельзя. Но риск для тех, кто берёт веса из сторонних источников, вполне реален.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…