ISACA: la mayoría de las empresas no puede detener rápidamente un sistema de AI ante un incidente

Las empresas integran activamente la AI en sus procesos clave, pero en muchos casos no saben cómo apagar rápidamente uno de estos sistemas ante un fallo, un ataque o un comportamiento erróneo. Un nuevo estudio de ISACA muestra que el problema ya no está en la experimentación con la tecnología, sino en la falta de un control de gestión básico.

Dónde falla el control

Según ISACA, el 59% de los profesionales de confianza digital encuestados en Europa no supo decir con qué rapidez su organización es capaz de detener un sistema de AI durante un incidente de seguridad. Solo el 21% confía en poder intervenir en menos de media hora.

En la práctica, esto abre un escenario preocupante. Si un modelo, un agente o un proceso automatizado con AI empieza a tomar decisiones erróneas, deriva hacia acciones incorrectas o resulta comprometido, puede seguir funcionando demasiado tiempo, incluso después de que el riesgo se haya hecho evidente.

El problema es especialmente visible ahora que la AI opera cada vez menos en un sandbox y cada vez más dentro de operaciones de negocio reales: atención al cliente, aprobaciones internas, análisis de datos, cumplimiento normativo y automatización de decisiones. En estos sistemas, incluso media hora sin control no es un retraso abstracto. Es tiempo suficiente para corromper datos, alterar un proceso, enviar respuestas incorrectas a clientes o generar problemas regulatorios que luego costará semanas resolver.

Lagunas en la investigación

Detener el sistema es solo la mitad del trabajo. Todavía más importante es entender qué ocurrió exactamente, por qué sucedió y cómo explicar las consecuencias a la dirección o al regulador.

Aquí el panorama tampoco es bueno: solo el 42% de los encuestados afirmó tener al menos cierta confianza en la capacidad de su organización para investigar un incidente grave de AI y explicarlo con claridad. Con la entrada en vigor de requisitos como la EU AI Act, esto ya no parece una simple carencia operativa, sino un riesgo de cumplimiento normativo.

El estudio destaca varias de las brechas más llamativas:

• el 59% no sabe con qué rapidez puede detenerse un sistema de AI durante un incidente
• solo el 42% confía en poder investigar y explicar un fallo grave
• el 33% de las empresas no exige a sus empleados que indiquen dónde se ha usado AI en los materiales de trabajo
• el 20% de los encuestados ni siquiera sabe quién sería responsable si la AI causa daños
• solo el 38% sitúa la responsabilidad última en el consejo de administración o la alta dirección

Además, la participación formal de una persona no resuelve el problema por sí sola. Alrededor del 40% de los encuestados afirma que hay personas que aprueban casi todas las acciones de la AI antes de ejecutarlas, y otro 26% revisa los resultados a posteriori. Pero si la empresa carece de un esquema de escalado adecuado, registros de acciones, reglas claras de desactivación y auditoría de uso, la supervisión humana se queda en un fragmento del proceso. No llega a ser un sistema de protección completo capaz de contener realmente los daños.

Quién es responsable

Una de las conclusiones más preocupantes es la difusa asignación de responsabilidades. Cuando en una empresa no está claro quién puede pulsar el botón de parada, quién dirige la investigación, quién se comunica con el regulador y quién decide volver a poner el sistema en marcha, cualquier incidente se agrava por el propio error y también por la parálisis organizativa.

El estudio muestra que muchas empresas siguen viendo el riesgo de la AI como un problema del equipo de IT o de seguridad, cuando en realidad es una cuestión de gobernanza que afecta a toda la organización.

«La brecha entre adopción y gobernanza no se está cerrando: está creciendo».

Esta idea describe bien el estado actual del mercado. La AI ya influye en decisiones, documentos, comunicaciones con clientes y procesos internos, pero las reglas sobre la propiedad del sistema, la obligación de declarar su uso y la intervención manual inmediata suelen llegar más tarde. Los expertos proponen tratar estos sistemas como empleados digitales: con un responsable asignado, umbrales de riesgo, capacidad de pausa inmediata y una vía de escalado clara si algo sale mal.

Qué significa esto

La conclusión principal es sencilla: a las empresas ya no les basta con implantar AI y poner a una persona «por encima». Necesitan escenarios definidos de antemano para la detención, la investigación, la asignación de responsabilidades y la declaración del uso de AI en los procesos de trabajo.

Quienes lo construyan ahora reducirán sus riesgos. También podrán escalar la AI sin un miedo constante al próximo error, a una inspección regulatoria, a la caída del servicio o a pérdidas reputacionales en procesos críticos para el negocio.