ISACA: la mayoría de las empresas no está preparada para desconectar rápidamente un sistema de AI durante un incidente

Компании активно встраивают AI в ключевые процессы, но во многих случаях не понимают, как быстро выключить такую систему при сбое, атаке или ошибочном поведении. Новое исследование ISACA показывает, что проблема уже не в экспериментах с технологией, а в отсутствии базового управленческого контроля.

Где ломается контроль

По данным ISACA, 59% опрошенных в Европе специалистов по digital trust не смогли сказать, как быстро их организация способна остановить AI-систему во время инцидента безопасности. Лишь 21% уверены, что смогут вмешаться в течение получаса. На практике это означает неприятный сценарий: если модель, агент или автоматизированный AI-процесс начал принимать ошибочные решения, утекать в неверные действия или оказался скомпрометирован, он может продолжать работать слишком долго — уже после того, как риск стал очевидным.

Проблема особенно заметна сейчас, когда AI всё чаще сидит не в песочнице, а внутри реальных бизнес-операций: клиентской поддержки, внутренних согласований, анализа данных, комплаенса и автоматизации решений. В таких системах даже полчаса без контроля — это не абстрактная задержка, а время, за которое можно испортить данные, нарушить процесс, отправить неверные ответы клиентам или создать регуляторные проблемы, которые потом придётся разбирать неделями.

Пробелы в разборе Остановить систему — только половина задачи.

Ещё важнее понять, что именно произошло, почему это случилось и как объяснить последствия руководству или регулятору. Но здесь картина тоже слабая: только 42% респондентов сказали, что хотя бы в какой-то степени уверены в способности своей организации расследовать серьёзный AI-инцидент и внятно его объяснить. На фоне вступающих в силу требований вроде EU AI Act это уже выглядит не как операционная недоработка, а как риск для соответствия правилам.

Исследование отдельно указывает на несколько самых заметных разрывов: 59% не знают, как быстро можно остановить AI-систему во время инцидента только 42% уверены, что смогут расследовать и объяснить серьёзный сбой 33% компаний не требуют от сотрудников раскрывать, где AI использовался в рабочих материалах 20% респондентов вообще не знают, кто будет отвечать, если AI нанесёт ущерб * только 38% видят конечную ответственность за советом директоров или топ-менеджментом При этом формальное участие человека не решает проблему само по себе. Около 40% опрошенных говорят, что люди одобряют почти все действия AI до их выполнения, ещё 26% проверяют результаты после факта. Но если у компании нет нормальной схемы эскалации, журналов действий, понятных правил отключения и аудита использования, человеческий контроль остаётся фрагментом процесса, а не полноценной системой защиты, которая действительно сдерживает ущерб.

Кто отвечает Один из самых неприятных выводов — размытая ответственность.

Когда в компании неясно, кто именно может нажать на стоп, кто ведёт разбор, кто общается с регулятором и кто принимает решение о возврате системы в работу, любой инцидент начинает расти не только из-за самой ошибки, но и из-за организационной паузы. Исследование показывает, что многие компании до сих пор воспринимают AI-риск как проблему команды IT или безопасности, хотя на деле это вопрос управления на уровне всей организации.

«Разрыв между внедрением и управлением не сокращается — он растёт».

Этот тезис хорошо описывает текущее состояние рынка. AI уже влияет на решения, документы, клиентские коммуникации и внутренние процессы, но правила владения системой, обязательного раскрытия её использования и мгновенного ручного вмешательства часто появляются позже. Эксперты предлагают относиться к таким системам как к цифровым сотрудникам: с назначенным владельцем, порогами риска, правом немедленной паузы и понятным маршрутом эскалации, если что-то пошло не так.

Что это значит

Главный вывод простой: компаниям уже мало просто внедрить AI и поставить человека «сверху». Нужны заранее прописанные сценарии остановки, расследования, ответственности и раскрытия использования AI в рабочих процессах. Те, кто выстроит это сейчас, получат не только меньше рисков, но и возможность масштабировать AI без постоянного страха перед следующей ошибкой, регуляторной проверкой, остановкой сервиса и репутационными потерями в критичных для бизнеса процессах.