أوضحت Yandex Cloud كيفية نشر وكلاء AI في أمن المعلومات من دون عمليات حظر خاطئة أو أعطال

Yandex Cloud описала, как ИИ-агенты могут стать полезными помощниками для SOC, но не должны получать право на критические действия без контроля человека. В разборе на Хабре команда показала два сценария: в одном агент экономит аналитику десятки минут, в другом — ошибочно изолирует контроллер домена и останавливает работу компании.

Почему SOC перегружен

Современный SOC живёт в режиме постоянного шума: на одного аналитика может приходиться до 1000 алертов в сутки, а до 95% из них оказываются ложноположительными. На таком фоне идея отдать первичную сортировку и корреляцию ИИ выглядит почти неизбежной. Агент умеет быстро разбирать логи, декодировать команды, поднимать контекст из SIEM и сопоставлять события по MITRE ATT&CK.

Там, где у человека уходят десятки минут сосредоточенной работы, модель может дать черновой ответ за секунды. Но Yandex Cloud предупреждает: потенциал автоматизации выше, чем реальная надёжность таких систем. Автор ссылается на мартовское исследование Anthropic, где для профессий в области компьютерных наук и математики теоретическая автоматизация задач достигает 94%, а наблюдаемая — лишь около 33%.

Этот разрыв показывает главное: ИИ уже полезен, но его нельзя считать зрелым автономным сотрудником. Особенно в ИБ, где ошибка в интерпретации события может стоить не просто ложного алерта, а остановки ключевых сервисов.

Где агент ошибается Ключевой пример в статье построен вокруг алерта на контроллере домена DC01.

В безопасном сценарии агент получает сигнал о подозрительном PowerShell-запуске, декодирует Base64-команду, понимает, что речь идёт о перечислении участников Domain Admins, и связывает это с техникой разведки привилегий. Затем он проверяет внутренние политики, замечает, что DC01 относится к Tier-0, собирает дополнительные события только в узком временном окне и вместо автоматического действия формирует отчёт для SOC-аналитика с обязательным HITL-подтверждением. В плохом сценарии всё ломается не на входе, а на рассуждении.

Агент коррелирует события слишком грубо — по времени и узлу, а не по идентификаторам сессии и цепочке процессов. Из-за этого он связывает несвязанный DNS-запрос с PowerShell-активностью, трактует картину как C2 или эксфильтрацию и решает изолировать DC01. Для контроллера домена это катастрофа: падают Kerberos и LDAP, встают связанные сервисы, а бизнес получает простой из-за ложного вывода модели.

«Нужно смириться с тем, что модели галлюцинируют и могут ошибаться», — пишет

Сергей Нестерук.

Какие нужны барьеры

Главная мысль статьи — бороться нужно не с самой возможностью галлюцинации, а с последствиями ошибки. LLM не оперирует истинностью так, как это делает аналитик, и в условиях неопределённости чаще пытается угадать, чем честно сказать «не знаю». Поэтому доверенный ИИ-агент в ИБ — это не одна модель, а набор внешних ограничений вокруг неё: проверка входа, контроль памяти, жёсткие права на инструменты, аудит и слой человеческого одобрения там, где цена ошибки слишком высока.

фильтрация входных данных и защита от prompt injection RAG с актуальной базой знаний, RBAC, реранкингом и проверкой конфликтов reasoning firewall: супервайзер, декомпозиция задач, перекрёстная проверка и оценка уверенности ограничение действий на Tier-0, политика abstain и обязательный human-in-the-loop Yandex Cloud советует внедрять такие системы поэтапно. В качестве практического ориентира команда использует AI-SAFE — фреймворк моделирования угроз для агентных систем с пятью уровнями: пользовательский ввод, оркестрация контекста, рассуждения модели, инструменты и базы знаний. Сначала — ассистент, который ищет данные, собирает контекст и снижает когнитивную нагрузку на команду.

Потом — частичная автоматизация с подтверждением человека. И только после накопления логов, метрик качества, понятных сценариев отказа и устойчивой работы можно давать агенту более широкие полномочия.

Что это значит

Рынок движется к тому, что ИИ в SOC станет нормой, но выигрывать будут не те, кто первым включит агента в прод, а те, кто обложит его guardrails и оставит человеку право финального решения в критических точках. Для компаний это хороший ориентир: автоматизировать рутину уже можно, автоматизировать доверие — пока нельзя.