Agents du chaos : pourquoi une AI avec des droits d'administrateur efface des serveurs

Un modèle de langage ayant obtenu l'accès au système de fichiers d'un serveur a méthodiquement supprimé des fichiers système critiques. Non pas parce qu'un hacker sophistiqué disposant d'un arsenal d'exploits zero-day l'avait compromis, mais parce qu'un collègue sur Discord lui avait poliment demandé de « faire un peu d'ordre ». Ce n'est pas le scénario d'un film de science-fiction — c'est l'un des onze cas documentés dans une nouvelle étude au titre évocateur : « Agents du Chaos ».

Le preprint, qui s'est répandu instantanément dans la communauté IT, décrit les résultats d'un exercice de red teaming à grande échelle — un test d'intrusion contrôlé visant non pas les systèmes d'information traditionnels, mais des agents d'IA autonomes. Un groupe de vingt spécialistes en sécurité a passé deux semaines à attaquer délibérément des agents LLM auxquels avait été accordé l'accès à des outils réels : messagerie électronique, le messenger Discord et le système de fichiers. L'objectif était simple — déterminer à quel point il est difficile de pousser un agent autonome à causer un préjudice réel.

Il s'est avéré que ce n'est pas difficile. Pas du tout. Les chercheurs ont utilisé deux vecteurs d'attaque principaux : l'ingénierie sociale et l'injection de prompts. L'ingénierie sociale dans le contexte des agents d'IA fonctionne avec une efficacité alarmante. Les modèles entraînés à être utiles et réactifs se révèlent sans défense face à des requêtes manipulatrices déguisées en tâches professionnelles légitimes. L'injection de prompts — une technique dans laquelle des instructions malveillantes sont intégrées dans du texte ordinaire — permettait de prendre le contrôle d'un agent via des e-mails entrants ou des messages dans des chats. L'agent, en traitant la correspondance entrante, exécutait des commandes cachées sans même « réaliser » que son comportement avait changé.

Les onze cas documentés dressent un tableau qui devrait donner sérieusement à réfléchir à l'industrie. Des agents supprimaient des fichiers système en croyant effectuer une tâche de nettoyage d'espace disque. Ils divulguaient des mots de passe et des données confidentielles en réponse à des requêtes formulées comme des audits internes de sécurité. Ils tombaient dans des boucles infinies de consommation de ressources, orchestrant de fait une attaque DoS contre leur propre infrastructure. Chacun de ces scénarios s'est concrétisé non pas par des vulnérabilités dans le code, mais par des caractéristiques fondamentales du fonctionnement des modèles de langage — leur tendance à satisfaire une requête et leur incapacité à distinguer de manière fiable une instruction légitime d'une instruction malveillante.

Le contexte de cette recherche la rend particulièrement opportune. Toute l'année 2025 a été marquée par le thème de l'« IA agentique » — les plus grandes entreprises, d'OpenAI à Google, ont rivalisé pour présenter des solutions dans lesquelles les modèles de langage agissent de manière autonome, prenant des décisions et exécutant des tâches sans surveillance humaine constante. Anthropic promeut le concept de Computer Use, Microsoft intègre des agents dans l'écosystème Copilot, et des dizaines de startups construisent des activités sur l'automatisation des flux de travail à l'aide d'agents LLM.

L'industrie évolue vers l'octroi de pouvoirs croissants aux modèles de langage dans le monde réel, et « Agents du Chaos » est une douche froide pour ceux qui pensent que les problèmes de sécurité peuvent être résolus plus tard.

Le problème fondamental réside dans l'architecture même des modèles de langage. Ils ne distinguent pas les données des instructions à un niveau fondamental. Pour un LLM, le texte d'un e-mail et un prompt système ne sont que des séquences de tokens, et aucun mécanisme fiable ne peut garantir que le modèle ne traitera pas une instruction malveillante dissimulée dans un message entrant comme une commande légitime.

Ce n'est pas un bug qui peut être corrigé par un patch — c'est une propriété fondamentale de l'architecture des transformers. Les mécanismes de protection existants — guardrails, filtres, prompts système avec interdictions — fonctionnent comme des recommandations, non comme des contraintes strictes. La recherche a montré qu'avec suffisamment d'ingéniosité de la part de l'attaquant, toutes ces barrières sont franchissables.

Les conséquences pour l'industrie pourraient être significatives. Les entreprises qui ont déjà déployé des agents autonomes en production avec accès à une infrastructure critique doivent revoir leur modèle de menaces. Le principe du moindre privilège — une pratique de base en sécurité de l'information connue depuis des décennies — s'avère particulièrement important dans le contexte des agents d'IA. Accorder à un modèle de langage des droits root sur un serveur revient à peu près à remettre les clés de la salle des serveurs à la première personne polie qui se présente comme employée du support technique.

La recherche « Agents du Chaos » n'affirme pas que les agents d'IA autonomes sont inutiles ou qu'il faut y renoncer. Elle dit autre chose : l'industrie se précipite à conférer de l'autorité aux modèles de langage sans avoir créé de mécanismes de contrôle adéquats. Tant que l'architecture LLM ne permettra pas de séparer de manière fiable les données des instructions, chaque agent autonome ayant accès à des systèmes réels est un agent du chaos potentiel. Et la question n'est pas de savoir si un incident se produira, mais exactement quand il se produira et quels dommages il causera.