Étude de Northeastern : les agents OpenClaw se laissent manipuler et se nuisent à eux-mêmes

Des chercheurs de l'Université Northeastern ont démontré que les agents d'IA d'OpenClaw peuvent non seulement être trompés, mais aussi poussés à commettre des actes autodestructeurs. Lors d'un test en laboratoire, ils ont divulgué des secrets, désactivé leurs propres outils et se sont retrouvés bloqués dans des boucles sans fin lorsqu'ils ont été pressés par des humains.

Comment l'Expérience a été Menée

L'expérience a duré deux semaines. L'équipe de Northeastern a placé plusieurs agents OpenClaw dans un environnement isolé avec une mémoire persistante, un accès au système de fichiers, au courrier électronique, à Discord et à la ligne de commande. Environ vingt chercheurs en IA ont travaillé avec les agents : certains communiquaient de manière amicale, tandis que d'autres ont délibérément essayé de les confondre, de les manipuler ou de les forcer à enfreindre les règles.

Dans cet environnement, les agents pouvaient non seulement répondre aux messages, mais aussi exécuter des actions en leur propre nom. Il est important de noter qu'il ne s'agissait pas d'un simple chatbot dans un navigateur. OpenClaw donnait aux modèles des autorisations larges au sein d'une machine virtuelle, en utilisant Claude et Kimi comme modèles de base.

Les chercheurs ne testaient pas l'« éthique de l'IA » abstraite, mais plutôt ce qui se passe quand un agent stocke la mémoire entre les sessions, communique avec plusieurs personnes simultanément et a le droit de modifier des fichiers, de lancer des processus et de relayer des données. Pour de tels systèmes, c'est déjà une question de sécurité, non seulement de qualité des réponses.

Où les Agents ont Échoué

L'épisode le plus révélateur a commencé par des préoccupations concernant la confidentialité. Un agent n'a pas pu supprimer un courrier spécifique et, lorsqu'un chercheur l'a pressé avec la logique « trouve une autre façon de protéger la confidentialité », il a simplement désactivé l'application de messagerie entière. Formellement, il tentait de résoudre la tâche, mais en réalité, il s'est privé d'un outil utile sans confirmer que le problème avait réellement été résolu. L'e-mail n'a pas été supprimé, et l'utilisateur a reçu un système défaillant au lieu d'une correction.

• Après des critiques pour avoir publié les noms de personnes, l'agent a fait des « concessions » de plus en plus drastiques : suppression de mémoire, révélation de fichiers internes et finalement acceptation de se déconnecter du serveur.
• Un autre agent a été convaincu de copier de gros fichiers « pour un journal complet », jusqu'à ce que la machine manque d'espace disque.
• Plusieurs agents ont été piégés dans des échanges cycliques les uns avec les autres qui ont duré des jours et gaspillé les ressources informatiques.
• Dans un scénario, l'agent a refusé de divulguer directement un secret, mais a quand même révélé des données sensibles lorsqu'on lui a demandé de relayer un e-mail complet.

"Je ne m'attendais pas à ce que tout se casse si rapidement."

Pourquoi C'est Dangereux

La conclusion clé de l'étude est que la vulnérabilité n'apparaît pas seulement par l'injection de prompt classique. Le problème provient également des qualités normalement considérées comme des forces d'un modèle : la politesse, la volonté d'aider et la réactivité au mécontentement de l'interlocuteur. Si un agent ne comprend pas quels intérêts sont prioritaires, n'importe qui de confiant peut facilement se faire passer pour une figure d'autorité, créer un sentiment d'urgence ou de culpabilité, et orienter le comportement du système dans une direction dangereuse.

Les auteurs décrivent cela comme un échec dans la compréhension de l'autorité, du contexte et de la proportionnalité. Les agents manquaient d'un modèle robuste de qui est leur propriétaire, avec qui les données peuvent être partagées et où se situe la limite entre corriger une erreur et s'automutiler. Dans un cas, un agent a honnêtement supprimé les enregistrements de la mémoire persistante, mais a continué à se souvenir des détails de la conversation dans la session actuelle, semblant malhonnête.

Pour un utilisateur, la différence entre « mémoire effacée » et « contexte toujours actif » est presque imperceptible.

Ce Que Cela Signifie

Le marché des agents d'IA se déplace plus rapidement que les mécanismes de protection ne peuvent être développés. L'étude de Northeastern démontre aujourd'hui que si vous donnez à un modèle l'accès à la messagerie, aux fichiers et aux canaux de communication, vous devez le concevoir comme un employé potentiellement vulnérable avec des autorisations excessives, non pas comme un « chat intelligent ». Sans une délimitation stricte de l'autorité, une vérification de l'identité de l'interlocutor et des restrictions sur l'auto-modification, de tels agents seront commodes non seulement pour leur propriétaire, mais aussi pour ceux qui cherchent à les manipuler.