ISACA: a maioria das empresas não está pronta para desligar rapidamente um sistema de AI durante um incidente

As empresas estão integrando ativamente IA em processos-chave, mas em muitos casos não entendem como desligar rapidamente tal sistema em caso de falha, ataque ou comportamento errôneo. Um novo estudo da ISACA mostra que o problema não é mais sobre experimentar com a tecnologia, mas sobre a falta de controle gerencial básico.

Onde o Controle Falha

De acordo com a ISACA, 59% dos especialistas em confiança digital pesquisados na Europa não conseguiriam dizer como sua organização é capaz de parar um sistema de IA durante um incidente de segurança. Apenas 21% têm confiança de que conseguem intervir em meia hora. Na prática, isso significa um cenário desagradável: se um modelo, agente ou processo de IA automatizado começar a tomar decisões errôneas, deslizar para ações incorretas ou for comprometido, ele pode continuar funcionando por muito tempo — mesmo depois que o risco se tornar óbvio.

O problema é especialmente notável agora, quando a IA está cada vez menos em uma caixa de areia e mais dentro de operações comerciais reais: suporte ao cliente, aprovações internas, análise de dados, conformidade e automação de decisões. Em tais sistemas, nem meia hora sem controle é um atraso abstrato, mas tempo durante o qual você pode corromper dados, interromper um processo, enviar respostas incorretas aos clientes ou criar problemas regulatórios que levará semanas para resolver depois.

Lacunas na Investigação

Parar o sistema é apenas metade da tarefa. Mais importante é entender exatamente o que aconteceu, por que aconteceu e como explicar as consequências à gerência ou a um regulador. Mas o quadro aqui também é fraco: apenas 42% dos entrevistados disseram que têm pelo menos alguma confiança na capacidade de sua organização de investigar um incidente grave de IA e explicá-lo claramente. Diante de requisitos como a Lei de IA da UE entrando em vigor, isso já parece não uma deficiência operacional, mas um risco para conformidade. O estudo destaca especificamente várias lacunas mais notáveis:

• 59% não sabem como parar rapidamente um sistema de IA durante um incidente
• apenas 42% têm confiança de que conseguem investigar e explicar uma falha grave
• 33% das empresas não exigem que os funcionários divulguem onde a IA foi usada em materiais de trabalho
• 20% dos entrevistados nem sabem quem será responsável se a IA causar danos
• apenas 38% veem a responsabilidade final com o conselho de administração ou gerência de topo

Enquanto isso, o envolvimento formal de humanos não resolve o problema por si só. Cerca de 40% dos pesquisados dizem que as pessoas aprovam quase todas as ações de IA antes da execução, e outros 26% verificam os resultados depois dos fatos. Mas se uma empresa não tem um esquema adequado de escalação, registros de ações, regras claras de desligamento e auditoria de uso, o controle humano permanece um fragmento do processo, não um sistema de defesa completo que realmente mitiga danos.

Quem é Responsável

Uma das conclusões mais desagradáveis é a responsabilidade difusa. Quando não fica claro em uma empresa quem exatamente pode apertar o botão de parada, quem conduz a investigação, quem se comunica com o regulador e quem decide se deve retomar o sistema à operação, qualquer incidente começa a crescer não apenas por causa do erro em si, mas também por causa de atrasos organizacionais. O estudo mostra que muitas empresas ainda veem o risco de IA como um problema para a equipe de TI ou segurança, embora na realidade seja uma questão de gerenciamento em toda a organização.

"A lacuna entre implementação e gerenciamento não está diminuindo —

está crescendo."

Esta tese descreve bem o estado atual do mercado. A IA já influencia decisões, documentos, comunicações com clientes e processos internos, mas as regras para proprietário do sistema, divulgação obrigatória de seu uso e intervenção manual imediata frequentemente surgem depois. Especialistas recomendam tratar tais sistemas como funcionários digitais: com um proprietário designado, limites de risco, direito de pausa imediata e uma rota clara de escalação se algo der errado.

O Que Isso Significa

A conclusão principal é simples: as empresas não podem mais apenas implantar IA e colocar uma pessoa "no topo". Você precisa de cenários pré-planejados para parar, investigar, atribuir responsabilidade e divulgar o uso de IA nos processos de trabalho. Aqueles que construírem isso agora não apenas terão menos riscos, mas também a capacidade de dimensionar a IA sem medo constante do próximo erro, verificação regulatória, interrupção de serviço e perdas de reputação em processos críticos para o negócio.