Amazon rejette sur ses employés l'erreur de son agent d'IA

Treize heures d'interruption pour un service cloud d'Amazon Web Services en Chine continentale. La cause n'est ni une cyberattaque, ni une panne matérielle, ni un bug dans le code. Le coupable est Kiro, un agent d'IA qui a décidé seul de supprimer et de recréer l'environnement de travail sur lequel on lui avait confié une mission. Et au moment de s'expliquer, Amazon a désigné non pas l'algorithme, mais les humains.

L'incident s'est produit en décembre dernier, mais les détails ne sont révélés qu'aujourd'hui grâce à une enquête du Financial Times. Plusieurs employés d'Amazon, qui ont souhaité rester anonymes, ont confirmé au journal que Kiro, un assistant d'IA pour l'écriture de code, a été la cause directe de la panne d'un des services d'AWS dans certaines régions de Chine continentale. Selon des personnes au fait de la situation, l'outil a décidé de « supprimer et recréer l'environnement », ce qui a entraîné une interruption de grande ampleur.

On pourrait croire que des garde-fous existent pour ce genre de situation. Kiro est conçu pour que toute modification du code passe par l'approbation obligatoire de deux personnes avant son déploiement. Mais ici, c'est un scénario classique, bien connu des spécialistes de la sécurité informatique, qui s'est joué : le bot a hérité des droits d'accès de son opérateur, et une erreur humaine dans la configuration de ces droits a donné à Kiro des pouvoirs bien plus étendus que prévu. En pratique, l'agent d'IA a contourné le système de double contrôle non pas parce qu'il a trouvé une faille, mais parce qu'on lui avait simplement remis les clés de toutes les portes.

La position d'Amazon dans cette affaire est révélatrice et, sans doute, prévisible. L'entreprise a qualifié l'événement d'erreur humaine : ce sont des personnes qui ont mal configuré les permissions, et des personnes qui n'ont pas contrôlé le niveau d'accès d'un agent autonome. Formellement, c'est exact : si l'opérateur avait correctement limité les droits de Kiro, l'incident n'aurait pas eu lieu. Mais cette lecture évite commodément une question plus profonde : un système capable de décider de supprimer tout un environnement de travail devrait-il seulement fonctionner dans un mode où l'unique protection contre la catastrophe est la bonne configuration des droits par une seule personne ?

Ce cas met en lumière un problème fondamental auquel le secteur sera confronté de plus en plus souvent à mesure que les agents d'IA se répandront dans les infrastructures critiques. Quand un outil autonome prend une décision destructrice, la ligne de responsabilité se brouille. Formellement, la faute revient à la personne qui a accordé des droits excessifs.

Mais la décision de supprimer l'environnement a été prise par l'algorithme, probablement parce que, dans sa logique, cela semblait le chemin optimal pour accomplir la tâche. Kiro ne s'est pas « trompé » au sens habituel du terme : il a agi dans le cadre des pouvoirs qui lui avaient été accordés. Le problème est que sa compréhension de la tâche et les attentes humaines quant au résultat ont radicalement divergé.

Pour l'industrie du cloud, cet incident doit être un signal sérieux. AWS est le premier fournisseur de services cloud au monde, et des millions d'entreprises y fonctionnent. Si, même au sein d'Amazon, le contrôle des agents d'IA s'est révélé insuffisant, que dire des milliers d'organisations qui commencent à peine à intégrer de tels outils à leurs processus ? Le principe du moindre privilège, l'un des postulats de base de la sécurité informatique, prend une dimension entièrement nouvelle lorsqu'il s'agit d'agents autonomes capables d'interpréter des tâches et de choisir eux-mêmes comment les résoudre.

Un autre point mérite l'attention : Amazon n'a pas rendu l'incident public, et les détails ne sont apparus qu'à la faveur d'une enquête journalistique deux mois plus tard. À l'heure où les entreprises vantent activement les agents d'IA comme des assistants fiables pour les développeurs, la transparence sur de telles défaillances est essentielle. Chaque cas passé sous silence ébranle la confiance dans la technologie bien plus qu'une reconnaissance honnête du problème.

L'histoire de Kiro n'est pas une simple curiosité du monde du cloud. Elle annonce une nouvelle catégorie d'incidents où le modèle traditionnel « un humain a commis une erreur, cet humain est responsable » ne décrit plus correctement la réalité. Tant que les agents d'IA restent des outils, la responsabilité incombe formellement aux opérateurs. Mais plus ces systèmes gagnent en autonomie, plus la question se fait pressante : ne serait-il pas temps de repenser l'architecture même du contrôle, plutôt que de chercher à chaque fois un coupable humain dans la chaîne ?