ISACA: a maioria das empresas não está pronta para parar rapidamente um sistema de IA durante um incidente

As empresas estão integrando IA a processos centrais do negócio, mas, em muitos casos, não sabem como desligar rapidamente esse sistema diante de uma falha, um ataque ou um comportamento incorreto. Uma nova pesquisa da ISACA mostra que o problema deixou de ser a experimentação com a tecnologia: agora falta o controle gerencial básico.

Onde o controle falha

Segundo a ISACA, 59% dos profissionais de digital trust entrevistados na Europa não souberam dizer com que rapidez sua organização consegue parar um sistema de IA durante um incidente de segurança. Apenas 21% confiam que conseguiriam intervir em até meia hora.

Na prática, o cenário é desconfortável. Um modelo, um agente ou um processo automatizado de IA pode começar a tomar decisões erradas, derivar para ações indevidas ou ser comprometido. Nesse caso, ele pode continuar operando por tempo demais, mesmo depois de o risco já ser evidente.

O problema fica mais visível agora que a IA está cada vez menos restrita a ambientes de teste e cada vez mais presente em operações reais: atendimento ao cliente, aprovações internas, análise de dados, compliance e automação de decisões. Nesses sistemas, meia hora sem controle não é um atraso abstrato. É tempo suficiente para corromper dados, quebrar um processo, enviar respostas erradas a clientes ou criar problemas regulatórios que vão exigir semanas de apuração.

Lacunas na investigação

Parar o sistema é só metade do trabalho. Mais importante ainda é entender o que exatamente aconteceu, por que aconteceu e como explicar as consequências à diretoria ou ao regulador.

Aqui o quadro também é fraco: só 42% dos entrevistados disseram ter pelo menos alguma confiança na capacidade da organização de investigar um incidente grave de IA e explicá-lo com clareza. Com a entrada em vigor de exigências como o EU AI Act, isso já deixa de ser uma falha operacional e passa a ser um risco de conformidade.

A pesquisa destaca algumas das lacunas mais evidentes:

• 59% não sabem com que rapidez é possível parar um sistema de IA durante um incidente
• apenas 42% confiam que conseguiriam investigar e explicar uma falha grave
• 33% das empresas não exigem que os funcionários informem onde a IA foi usada em materiais de trabalho
• 20% dos entrevistados simplesmente não sabem quem seria responsabilizado se a IA causasse danos
• apenas 38% atribuem a responsabilidade final ao conselho de administração ou à alta gestão

A participação humana formal, por si só, não resolve o problema. Cerca de 40% dos entrevistados afirmam que pessoas aprovam quase todas as ações da IA antes da execução, e outros 26% verificam os resultados depois. Mas, sem um esquema adequado de escalonamento, registros de ações, regras claras de desligamento e auditoria de uso, o controle humano continua sendo um fragmento do processo, e não um sistema de proteção completo que de fato contenha os danos.

Quem responde

Uma das conclusões mais incômodas é a responsabilidade difusa. Quando não está claro quem pode apertar o botão de parada, quem conduz a investigação, quem fala com o regulador e quem decide colocar o sistema de volta em operação, qualquer incidente se agrava. O agravamento vem não só do erro em si, mas também da paralisia organizacional.

A pesquisa mostra que muitas empresas ainda tratam o risco de IA como um problema da equipe de TI ou de segurança. Na realidade, trata-se de uma questão de governança que envolve toda a organização.

«A distância entre adoção e governança não está diminuindo — está aumentando».

Essa frase resume bem o estado atual do mercado. A IA já influencia decisões, documentos, comunicações com clientes e processos internos, mas as regras de responsabilidade pelo sistema, de divulgação obrigatória do seu uso e de intervenção manual imediata muitas vezes só chegam depois. Especialistas sugerem tratar esses sistemas como funcionários digitais: com um responsável designado, limites de risco, direito de pausa imediata e um caminho claro de escalonamento caso algo dê errado.

O que isso significa

A conclusão principal é simples: já não basta implantar IA e colocar uma pessoa "por cima". São necessários roteiros definidos com antecedência para parada, investigação, responsabilização e divulgação do uso de IA nos processos de trabalho.

Quem estruturar isso agora terá menos riscos e também poderá escalar a IA sem o medo constante do próximo erro, de uma fiscalização regulatória, da interrupção de serviços e de perdas de reputação em processos críticos para o negócio.