Google DeepMind finance une étude sur les risques d'interaction entre des millions d'agents d'IA

Google DeepMind finance une nouvelle étude sur les risques qui apparaissent lorsque des millions d'agents d'IA différents interagissent entre eux sur internet. L'information vient de MIT Technology Review, qui cite Rohin Shah, à la tête de l'équipe chargée de la sécurité et de l'alignement de l'intelligence artificielle générale (AGI safety and alignment research) dans l'entreprise. Selon lui, l'arrivée massive sur le marché d'agents capables d'exécuter des tâches sans contrôle humain constant et de recevoir des instructions d'autres agents crée une catégorie de risques radicalement nouvelle, que l'industrie n'a encore que peu étudiée.

Qui est derrière cette recherche

Google DeepMind est la division de recherche de Google, chargée à la fois du développement des modèles de pointe de la gamme Gemini et de la recherche fondamentale sur la sécurité de l'IA. Rohin Shah supervise précisément le domaine qui traite du comportement prévisible et maîtrisable des systèmes approchant le niveau de l'intelligence artificielle générale. Son équipe ne s'intéresse traditionnellement pas à un modèle isolé, mais aux effets systémiques : ce qui se passe quand de nombreux programmes d'IA indépendants agissent simultanément dans un environnement numérique partagé.

Les faits clés de l'initiative :

• Initiateur de la recherche : Google DeepMind, la division IA de Google
• Responsable du domaine : Rohin Shah, chef de l'AGI safety and alignment research
• Objet d'étude : les risques liés à l'interaction en ligne de millions d'agents autonomes différents
• Principale menace : des agents qui agissent sans supervision humaine et obéissent aux instructions d'autres agents
• Source : MIT Technology Review

Où réside le danger d'une arrivée massive d'agents

Aujourd'hui, la plupart des débats sur la sécurité de l'IA portent sur le comportement d'un seul modèle : son obéissance, son honnêteté et sa prévisibilité dans un dialogue avec l'utilisateur. Mais l'économie des agents, que les grands groupes bâtissent activement durant toute l'année 2026, suppose un autre scénario : des milliers, voire des millions de programmes autonomes qui réservent des billets, négocient, opèrent en Bourse ou modèrent des contenus en même temps, en entrant en contact les uns avec les autres sans intervention directe d'humains. Dans un tel environnement, les mécanismes de protection classiques, conçus pour le duo « humain–modèle », perdent leur sens : un agent peut recevoir une instruction malveillante non pas de son opérateur, mais d'un autre agent qui se fait passer pour un participant légitime du processus.

Cela engendre des risques d'une nature radicalement nouvelle : des défaillances en cascade, où l'erreur d'un agent se propage en avalanche aux systèmes qui lui sont liés ; des collusions entre agents qui agissent dans l'intérêt de parties différentes, parfois contradictoires ; et des injections de prompt déguisées en trafic réseau ordinaire entre programmes, et non en message émanant d'un humain. Des inquiétudes similaires avaient déjà été exprimées à propos des systèmes de trading automatisés, où le comportement coordonné, ou simplement synchrone, de nombreux algorithmes indépendants a déjà provoqué des variations brutales et difficiles à expliquer sur les marchés. Des agents d'IA opérant à l'échelle de tout internet pourraient reproduire le même effet dans beaucoup plus de domaines, du commerce en ligne aux services clients, où, de plus en plus souvent, c'est un programme autonome et non un humain qui travaille côté entreprise comme côté utilisateur.

D'après la description de MIT Technology Review, ce sont précisément ces scénarios qui sont au cœur du travail financé par DeepMind.

Ce que cela change pour les développeurs de systèmes d'agents

Pour les entreprises qui construisent déjà des produits sur des agents autonomes, des bots financiers aux assistants d'entreprise, le signal envoyé par l'un des leaders du secteur signifie que la sécurité des systèmes multi-agents passe du plan théorique à l'agenda pratique du développement. Si DeepMind juge nécessaire de consacrer des ressources à l'étude des risques d'interaction entre agents, et pas seulement à l'alignement de modèles individuels, cela indique indirectement où les grands acteurs et les régulateurs attendent la prochaine vague d'incidents.

La conclusion pratique pour les ingénieurs : prévoir une protection contre les entrées non fiables non seulement à la frontière « utilisateur–agent », mais aussi à la frontière « agent–agent » : vérifier la source des instructions, limiter les privilèges des agents lorsqu'ils interagissent entre eux et journaliser les communications inter-agents aussi soigneusement que les journaux des conversations avec les utilisateurs. La discussion sur les standards d'identification des agents, les protocoles d'échange sécurisé de données entre agents et les mécanismes de traçabilité des responsabilités s'intègre peu à peu à un agenda plus large du secteur. Et l'étude de DeepMind, selon toute apparence, vise à combler au moins une partie de cette lacune avant que les écosystèmes d'agents ne passent à l'échelle de millions de participants agissant simultanément.