Les permissions des agents IA doivent croître avec leurs capacités, comme le fait Anthropic

Anthropic a publié un guide d'ingénierie consacré à la gestion des permissions des agents IA. Sa conclusion principale : à mesure que les agents gagnent en puissance et prennent en charge des tâches plus complexes, leurs permissions doivent évoluer. L'entreprise utilise le sandboxing, une technique qui restreint les actions potentiellement destructrices et protège les systèmes contre les erreurs.

Pourquoi c'est crucial

Les agents IA accèdent de plus en plus à des outils externes : navigateur, système de fichiers, API, bases de données. Cela étend leurs capacités, mais augmente aussi le risque. Si l'agent se trompe, ou s'il est poussé à l'erreur par une requête mal formulée, il peut supprimer des données importantes, envoyer un e-mail involontaire depuis votre compte ou effectuer une opération financière erronée.

Anthropic souligne que les permissions ne sont pas un ensemble statique d'autorisations. Elles doivent croître avec les capacités et la fiabilité de l'agent. Un nouvel agent reçoit un minimum de droits, puis ses permissions s'élargissent progressivement à mesure qu'il démontre sa stabilité et sa compréhension du contexte.

Comment fonctionne le sandboxing

Le sandboxing, c'est de l'isolation. L'agent agit dans un environnement restreint, dont il ne peut pas sortir ni endommager le reste du système. Exemples :

• L'agent ne peut modifier que les fichiers du dossier /tmp, sans toucher aux répertoires système
• Les requêtes API passent par une couche proxy qui vérifie chaque appel
• Un agent de navigation ne voit que certains sites ; les autres sont bloqués
• Les opérations financières exigent une confirmation supplémentaire ou sont plafonnées
• Les bases de données sont en lecture seule, ou accessibles uniquement pour certaines tables

Cette approche laisse à l'agent assez de liberté pour travailler tout en le maintenant dans le cadre de la sécurité.

L'approche pratique d'Anthropic

Dans ses produits, dont Claude et les nouveaux frameworks d'agents, Anthropic applique ces principes en pratique. Lorsqu'on déploie un agent, on définit d'abord quels outils il peut utiliser et comment ils doivent être restreints. Par exemple, si l'agent sert à répondre à des questions sur votre documentation, on ne lui donne accès qu'à cette documentation. S'il aide à gérer un calendrier, on l'autorise à lire et écrire uniquement des événements, sans gérer les autres aspects du compte.

Mettre en place un système de supervision est particulièrement important. L'entreprise recommande de journaliser toutes les actions de l'agent : quelles commandes il a exécutées, quels outils il a utilisés, quelles erreurs se sont produites. Des audits réguliers aident à repérer rapidement un comportement étrange. Si l'agent se met à faire des choses imprévues ou sort de ses schémas habituels, le système doit alerter ou le bloquer.

« La confiance n'est pas un choix binaire.

C'est un spectre, et il faut donner à l'agent exactement les permissions dont il a besoin pour travailler à un instant donné », indique le guide d'Anthropic.

Lorsque l'agent démontre sa stabilité et sa compréhension du contexte, ses permissions peuvent être étendues progressivement. Mais il doit s'agir d'un processus réfléchi, étape par étape, et non d'une promotion automatique fondée sur la durée de fonctionnement.

Ce que cela signifie

Un sandboxing adéquat et des permissions dynamiques ne sont pas seulement une bonne pratique : ils sont indispensables pour déployer des agents IA en production. Pour les organisations qui déploient des agents IA dans leurs systèmes, cela implique de réfléchir soigneusement à ce que l'agent doit faire et aux données dont il a besoin, de définir le périmètre exact de ses permissions et restrictions, de surveiller son comportement en temps réel et d'élargir progressivement les permissions à mesure que sa fiabilité augmente.

C'est d'autant plus important dans les scénarios critiques : si l'agent a accès à des données financières, des dossiers médicaux, des informations personnelles ou une infrastructure critique, le risque d'erreur devient énorme.

Pour les entreprises d'IA comme Anthropic, cela signifie intégrer ces principes à l'architecture du produit dès le départ, plutôt que de les ajouter plus tard comme un patch.