ISACA : la plupart des entreprises ne sont pas prêtes à désactiver rapidement un système d’AI lors d’un incident

Les entreprises intègrent activement l'IA dans les processus clés, mais dans de nombreux cas, elles ne savent pas comment arrêter rapidement un tel système en cas de défaillance, d'attaque ou de comportement erroné. Une nouvelle étude de l'ISACA montre que le problème ne porte plus sur l'expérimentation avec la technologie, mais sur l'absence de contrôle managérial basique.

Où le Contrôle Échoue

Selon l'ISACA, 59% des spécialistes de la confiance numérique interrogés en Europe ne pourraient pas dire comment leur organisation est capable d'arrêter un système d'IA lors d'un incident de sécurité. Seuls 21% sont confiants qu'ils peuvent intervenir dans les trente minutes. En pratique, cela signifie un scénario désagréable : si un modèle, agent ou processus d'IA automatisé commence à prendre des décisions erronées, se dérive vers des actions incorrectes ou est compromis, il peut continuer à fonctionner trop longtemps — même après que le risque devienne évident.

Le problème est particulièrement notable maintenant, lorsque l'IA ne se trouve plus dans un bac à sable, mais dans les opérations commerciales réelles : support client, approbations internes, analyse de données, conformité et automatisation des décisions. Dans de tels systèmes, même une demi-heure sans contrôle n'est pas un délai abstrait, mais du temps pendant lequel on peut corrompre les données, interrompre un processus, envoyer des réponses incorrectes aux clients ou créer des problèmes réglementaires qui prendront des semaines à résoudre après.

Lacunes dans l'Investigation

Arrêter le système n'est que la moitié de la tâche. Plus important encore, il faut comprendre exactement ce qui s'est passé, pourquoi cela s'est produit et comment expliquer les conséquences à la direction ou à un régulateur. Mais le tableau ici est également faible : seuls 42% des répondants ont déclaré être au moins quelque peu confiants dans la capacité de leur organisation à enquêter sur un incident grave d'IA et l'expliquer clairement. Face aux exigences comme la Loi sur l'IA de l'UE qui entre en vigueur, cela ressemble déjà non pas à une insuffisance opérationnelle, mais à un risque de conformité. L'étude met en évidence plusieurs lacunes les plus notables :

• 59% ne savent pas comment arrêter rapidement un système d'IA lors d'un incident
• seuls 42% sont confiants qu'ils peuvent enquêter et expliquer une défaillance grave
• 33% des entreprises n'exigent pas que les employés divulguent où l'IA a été utilisée dans les documents de travail
• 20% des répondants ne savent même pas qui sera responsable si l'IA cause du préjudice
• seuls 38% considèrent que la responsabilité ultime incombe au conseil d'administration ou à la haute direction

Entre-temps, la participation formelle des humains ne résout pas le problème en soi. Environ 40% de ceux interrogés disent que les gens approuvent presque toutes les actions de l'IA avant exécution, et 26% supplémentaires vérifient les résultats après les faits. Mais si une entreprise n'a pas de schéma d'escalade approprié, de registres d'actions, de règles d'arrêt claires et d'audit d'utilisation, le contrôle humain reste un fragment du processus, non un système de défense complète qui atténue réellement les dommages.

Qui est Responsable

L'une des conclusions les plus désagréables est la responsabilité floue. Quand ce n'est pas clair dans une entreprise qui exactement peut appuyer sur le bouton d'arrêt, qui mène l'investigation, qui communique avec le régulateur et qui décide de remettre le système en service, tout incident commence à croître non seulement à cause de l'erreur elle-même, mais aussi à cause des retards organisationnels. L'étude montre que de nombreuses entreprises perçoivent toujours le risque d'IA comme un problème pour l'équipe informatique ou de sécurité, alors qu'en réalité c'est une question de gestion à l'échelle de toute l'organisation.

"L'écart entre implémentation et gestion ne se réduit pas — il s'agrandit."

Cette thèse décrit bien l'état actuel du marché. L'IA influence déjà les décisions, les documents, les communications avec les clients et les processus internes, mais les règles pour la propriété du système, la divulgation obligatoire de son utilisation et l'intervention manuelle immédiate apparaissent souvent après. Les experts recommandent de traiter ces systèmes comme des employés numériques : avec un propriétaire désigné, des seuils de risque, le droit à une pause immédiate et une route d'escalade claire si quelque chose ne va pas.

Ce Que Cela Signifie

La conclusion principale est simple : les entreprises ne peuvent plus simplement déployer l'IA et mettre une personne « au-dessus ». Vous avez besoin de scénarios préalablement planifiés pour arrêter, enquêter, assigner la responsabilité et divulguer l'utilisation de l'IA dans les processus de travail. Ceux qui le construisent maintenant n'auront pas seulement moins de risques, mais aussi la capacité de mettre à l'échelle l'IA sans crainte constante de la prochaine erreur, vérification réglementaire, interruption de service et pertes de réputation dans les processus critiques pour l'entreprise.