Nadella призвал считать все ИИ-модели скомпрометированными и назвал 4 меры

Глава Microsoft Satya Nadella опубликовал на X длинный пост, в котором предлагает исходить из того, что любая продвинутая ИИ-модель может быть скомпрометирована, и выстраивать защиту с учётом этого. Он называет четыре опорные меры: своевременное раскрытие инцидентов, независимый аудит, проверяемые данные и изоляцию моделей (containment). Итогом должна стать система, которая оставляет «tamper-proof human readable evidence», то есть защищённые от подделки и понятные человеку записи о том, что модель делала и почему.

Конец эпохи «чёрных ящиков»

Главный тезис поста: ИИ нельзя дальше воспринимать как «набор вложенных чёрных ящиков», чьи советы и действия мы просто принимаем или отвергаем. Эта схема работала, пока модель писала письма и резюмировала документы. С агентами, которые ходят в системы с правами пользователя, она перестаёт работать. Нельзя проверить результат, если непонятно, как он получен. А доверять модели, у которой могли подменить веса, данные или инструкции, тем более нельзя.

Формула «считать модели скомпрометированными» переносит в ИИ привычный для безопасности принцип zero trust. Защита строится так, будто взлом уже случился. Значит, всё, что модель делает, нужно ограничивать, наблюдать за этим и фиксировать.

Четыре меры из поста

По пересказу The Verge, большинство рекомендаций Nadella совпадает с тем, что уже звучало от других игроков отрасли:

• Своевременное раскрытие инцидентов. Провайдеры сообщают о сбоях и взломах моделей в понятные сроки, а не по собственному усмотрению.
• Независимые аудиты. Проверку проводит сторона, не связанная с разработчиком модели.
• Проверяемые данные. Происхождение обучающих и рабочих данных можно подтвердить.
• Containment. Модель работает в ограниченной среде, а её действия наблюдаемы и оставляют неподделываемый след.

Имено на последнем пункте, как отмечает The Verge, позиция Nadella, по-видимому, выделяется на фоне остальных. Отрывок источника в этом месте обрывается, поэтому мы не пересказываем детали и не приписываем ему лишнего. Полный разбор доступен у первоисточника.

Почему слова звучат весомо именно от Microsoft

Microsoft одновременно продаёт ИИ-агентов корпоративным клиентам, держит облачную инфраструктуру, на которой работают модели, и входит в число крупнейших игроков отрасли. Когда такой CEO публично говорит «предполагайте компрометацию», он фактически задаёт планку ожиданий для клиентов и регуляторов. Заодно он ставит в неудобное положение конкурентов, которые не готовы раскрывать инциденты и пускать аудиторов.

Остаётся главный вопрос: как именно будет устроена «читаемая человеком» запись. Журнал на сотни тысяч шагов агента, который никто не читает, доказательством не является. Здесь пока больше принципов, чем стандартов.

Что делать командам уже сейчас

Дождаться отраслевых стандартов не получится, а базовые шаги доступны сегодня. Это наши практические выводы из логики поста, а не цитаты Nadella.

• Запускайте агентов в песочнице с минимальными правами и отдельными ключами доступа.
• Пишите журнал каждого действия модели в хранилище, которое сама модель изменить не может.
• Добавьте в договоры с ИИ-поставщиками сроки уведомления об инцидентах и право на аудит.
• Фиксируйте происхождение данных, на которых дообучаете модели или строите поиск по документам.
• Для операций с необратимыми последствиями (платежи, удаление, продакшен) оставляйте подтверждение человеком.

Если модель по умолчанию считается ненадёжной, ценность смещается от её «умности» к качеству обвязки вокруг неё. Тот, кто построит эту обвязку раньше остальных, получит преимущество в корпоративных продажах.