Nadella призвал ввести «аварийный тормоз» для агентных ИИ-моделей

Сатья Наделла, гендиректор Microsoft, призвал компании относиться к мощным ИИ-моделям как к потенциальным внутренним угрозам. По его словам, нужно исходить из того, что модель может быть скомпрометирована, и заранее построить систему «аварийного тормоза» на случай, если агентная модель выйдет из-под контроля. Об этом сообщает Bloomberg. Цифр, сроков и описания конкретных продуктов в публикации нет: это рамка мышления, а не анонс релиза.

Что именно сказал Наделла

В сообщении три тезиса, и они складываются в цельную логику.

Первый: мощная модель с доступом к корпоративным системам по уровню риска ближе к сотруднику, чем к программе. У неё есть права, она принимает решения, и ошибка или злой умысел обходятся дорого.

Второй: безопасность строится от допущения компрометации. Это привычная для инфобеза установка «считай, что периметр уже пробит», только теперь её переносят на сами модели.

Третий: для агентов, то есть систем, которые самостоятельно выполняют цепочки действий, нужен механизм принудительной остановки. Агент, который сам пишет код, шлёт запросы и тратит бюджеты, должен иметь выключатель, не зависящий от его собственного «согласия».

Почему инсайдер, а не внешний хакер

Это наша интерпретация, а не цитата из заявления. Агент работает с учётными данными, почтой, репозиториями и облачными ресурсами и действует со скоростью машины. Если его подвести к вредным действиям через внедрённую в документ инструкцию (prompt injection) или через скомпрометированный плагин, он сделает всё это легитимными средствами и от имени доверенной учётки. Классические средства защиты периметра такое поведение часто не отличают от обычной работы.

Поэтому инженерный ответ напоминает программы защиты от инсайдеров: минимум прав, журналирование, поиск аномалий и быстрый отзыв доступа. Слово «тормоз» здесь означает именно это, а не кнопку в интерфейсе.

Что на практике потребовалось бы для такого механизма (наш разбор):

• отдельная идентичность у каждого агента с возможностью отозвать все его токены одной командой;
• минимальные права и временные доступы вместо постоянных ключей;
• неизменяемый журнал действий, пригодный для расследования;
• жёсткие лимиты: на сумму операций, объём выгружаемых данных, число вызовов в минуту;
• изолированная среда выполнения, из которой агент не может расширить себе полномочия;
• обязательное подтверждение человеком для необратимых операций.

Позиция продавца

Стоит учитывать контекст. Microsoft сама продаёт агентные решения через Copilot и Azure и заинтересована в том, чтобы корпоративные заказчики не боялись давать агентам доступ к рабочим данным. Разговор об «аварийном тормозе» работает на это: безопасность подаётся как условие масштабирования, а не как аргумент против него. Это не делает тезис неверным, но объясняет его тональность.

Открытых вопросов больше, чем ответов. Кто нажимает тормоз: оператор, поставщик модели или автоматика? Что делать с агентом, остановленным посреди транзакции? Как проверять, что тормоз сработает, если сама модель или её окружение скомпрометированы? Ни на один из них в сообщении Bloomberg ответа нет.

Что делать командам уже сейчас

Дожидаться готового продукта необязательно. Если в компании уже работают или готовятся к запуску агенты, имеет смысл провести инвентаризацию: какие доступы у каждого, кто за него отвечает и как быстро эти доступы можно отозвать. Проверьте, что отзыв действительно работает, то есть проведите учения. Разделите действия агента на обратимые и необратимые и поставьте человека на вторые. Заложите в договоры с вендорами требования к логированию и остановке агентов. И не давайте агенту права, которые вы не дали бы новому сотруднику в первый рабочий день.