ISACA : la plupart des entreprises ne sont pas prêtes à arrêter rapidement un système d'IA en cas d'incident

Les entreprises intègrent activement l'IA dans leurs processus clés, mais beaucoup ne savent pas comment couper rapidement un tel système en cas de panne, d'attaque ou de comportement erroné. Une nouvelle étude d'ISACA montre que le problème ne relève plus de l'expérimentation technologique : il tient à l'absence de contrôle de gouvernance élémentaire.

Où le contrôle cède

Selon ISACA, 59 % des professionnels de la confiance numérique interrogés en Europe n'ont pas su dire en combien de temps leur organisation pouvait arrêter un système d'IA lors d'un incident de sécurité. Seuls 21 % sont convaincus de pouvoir intervenir en moins d'une demi-heure.

Concrètement, le scénario est inquiétant : si un modèle, un agent ou un processus d'IA automatisé commence à prendre de mauvaises décisions, dérive vers des actions inappropriées ou se retrouve compromis, il peut continuer à tourner beaucoup trop longtemps, alors même que le risque est devenu évident.

Le problème est d'autant plus visible que l'IA quitte de plus en plus le bac à sable pour s'installer au cœur des opérations réelles : support client, validations internes, analyse de données, conformité et automatisation des décisions. Dans ces systèmes, même une demi-heure sans contrôle n'a rien d'un délai abstrait. C'est le temps qu'il faut pour corrompre des données, perturber un processus, envoyer de mauvaises réponses aux clients ou créer des problèmes réglementaires qu'il faudra ensuite démêler pendant des semaines.

Des lacunes dans l'analyse

Arrêter le système ne règle que la moitié du problème. Il est encore plus important de comprendre ce qui s'est passé exactement, pourquoi, et comment en expliquer les conséquences à la direction ou au régulateur.

Là encore, le tableau est peu reluisant : seuls 42 % des répondants se disent au moins dans une certaine mesure confiants dans la capacité de leur organisation à enquêter sur un incident d'IA grave et à l'expliquer clairement. Avec l'entrée en vigueur d'exigences comme l'EU AI Act, il ne s'agit plus d'une simple faille opérationnelle, mais d'un risque de non-conformité.

L'étude pointe plusieurs écarts particulièrement marqués :

• 59 % ignorent en combien de temps un système d'IA peut être arrêté lors d'un incident
• seuls 42 % sont confiants dans leur capacité à enquêter sur une défaillance grave et à l'expliquer
• 33 % des entreprises n'exigent pas de leurs employés qu'ils déclarent l'usage de l'IA dans leurs documents de travail
• 20 % des répondants ne savent même pas qui serait responsable si l'IA causait un préjudice
• seuls 38 % considèrent que la responsabilité ultime revient au conseil d'administration ou à la direction générale

Par ailleurs, la présence formelle d'un humain dans la boucle ne suffit pas à résoudre le problème. Environ 40 % des sondés indiquent que des personnes approuvent presque toutes les actions de l'IA avant leur exécution, et 26 % vérifient les résultats a posteriori.

Mais sans véritable schéma d'escalade, sans journaux d'actions, sans règles claires de mise hors service ni audit des usages, le contrôle humain reste un fragment du processus, et non un dispositif de protection complet capable de contenir réellement les dégâts.

Qui est responsable

L'un des constats les plus préoccupants concerne la dilution des responsabilités. Lorsque personne ne sait clairement qui peut appuyer sur le bouton d'arrêt, qui mène l'enquête, qui dialogue avec le régulateur et qui décide de la remise en service, tout incident s'aggrave, non seulement à cause de l'erreur elle-même, mais aussi du flottement organisationnel.

L'étude montre que de nombreuses entreprises considèrent encore le risque lié à l'IA comme l'affaire des équipes IT ou sécurité, alors qu'il s'agit en réalité d'une question de gouvernance à l'échelle de toute l'organisation.

« L'écart entre adoption et gouvernance ne se réduit pas : il se creuse. »

Cette formule résume bien l'état actuel du marché. L'IA influence déjà les décisions, les documents, la communication avec les clients et les processus internes, mais les règles de propriété des systèmes, de déclaration obligatoire de leur usage et d'intervention manuelle immédiate arrivent souvent après coup.

Les experts recommandent de traiter ces systèmes comme des employés numériques : avec un responsable désigné, des seuils de risque, un droit de pause immédiate et un circuit d'escalade clair en cas de problème.

Ce que cela signifie

La conclusion principale est simple : il ne suffit plus aux entreprises de déployer l'IA et de placer un humain « au-dessus ». Il leur faut des scénarios préétablis d'arrêt, d'enquête, de responsabilité et de déclaration de l'usage de l'IA dans les processus de travail.

Celles qui mettront cela en place dès maintenant réduiront leurs risques, mais pourront aussi faire passer l'IA à l'échelle sans craindre en permanence la prochaine erreur, le prochain contrôle réglementaire, une interruption de service ou des dommages réputationnels dans des processus critiques pour l'activité.