Comment empêcher un agent IA de sortir du cadre de sa mission : le code valide le plan avant toute modification du site
Vous demandez de corriger une seule page d'un site sous MODX, et l'agent IA décide de modifier le bloc commun (le chunk). Techniquement, le raisonnement tient, mais plusieurs dizaines d'autres pages sont alors modifiées en même temps, sans que personne ne l'ait autorisé. L'auteur a retiré le contrôle du prompt pour le placer dans le code : le composant ChangeSet transforme les intentions de l'agent en un plan et le vérifie avant toute écriture, sans rien modifier lui-même sur le site. Les limites d'une mission sont donc plus fiables lorsqu'elles sont garanties par des contrôles programmatiques, et non par une simple consigne dans les instructions.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez : vous demandez à un agent IA de corriger le texte d'une page de votre site, et celui-ci, après avoir étudié le fonctionnement du CMS, juge plus simple de modifier le bloc commun (dans MODX, il s'appelle un chunk). Techniquement, la décision est juste, mais plusieurs dizaines d'autres pages qui incluent ce bloc changeront avec la page visée. Personne n'avait donné son accord pour cela.
Le développeur qui a d'abord connecté l'agent à MODX via MCP (un protocole par lequel le modèle accède à des outils externes), puis organisé son travail autonome sur des sites en production, a expliqué comment il résout ce problème dans le projet Site Agent Runtime. L'idée est simple : l'agent propose, mais ce n'est ni lui ni le prompt qui vérifie sa proposition, c'est du code ordinaire. Le composant clé s'appelle ChangeSet.
Il prépare, vérifie et fige le plan de modifications, sans rien changer lui-même sur le site.
Le système complet n'est pas publié, mais trois composants (Task Manager, ChangeSet et State Guard) sont disponibles sur GitHub, accompagnés de tests automatisés. Une démonstration interactive permet aussi de voir quelles opérations sont autorisées et lesquelles sont refusées : du véritable code Python s'exécute directement dans le navigateur grâce à Pyodide.
Une décision de l'agent ne justifie pas de modifier le site
L'auteur sépare trois étapes : la prise de décision, la préparation du plan et l'exécution. TaskSpec décrit la mission et les actions admises. Resolver fait correspondre ces actions à des objets précis du site. DecisionSet consigne les choix techniques de l'agent. ChangeSet transforme l'ensemble en un plan vérifiable, que reçoit ensuite un Executor distinct.
La méthode bind_scope() rattache chaque opération à la cible identifiée par Resolver et contrôle le type de l'objet, son statut et l'action autorisée. Si la mission autorise la mise à jour d'une ressource et que l'agent veut la supprimer, l'opération est rejetée. Il en va de même s'il touche à un objet étranger à la mission. Si la modification concerne un élément utilisé par plusieurs ressources, une confirmation explicite est requise, quelle que soit l'évaluation de risque fournie par l'agent lui-même.
Deux écritures réussies et une modification perdue
Les documents sont stockés dans des fichiers JSON : pour un petit nombre de tâches, une base de données séparée n'est pas nécessaire. L'écriture passe par un fichier temporaire suivi de flush, fsync et os.replace(), et la synchronisation repose sur le verrou fcntl.flock. Cela paraît fiable. Pourtant, si deux processus lisent la même révision, préparent chacun une modification différente, puis enregistrent l'une après l'autre, les deux écritures réussissent et le résultat de la première disparaît. C'est un lost update classique. Le remplacement atomique protège contre un fichier à moitié écrit, mais pas contre une écriture effectuée sur des données périmées.
L'auteur n'a pas choisi de garder un verrou exclusif pendant toute la préparation du plan : un seul processus ralentirait alors les autres, même lorsque le stockage ne lui est pas nécessaire. Il a opté pour un contrôle optimiste. Le plan est préparé sans verrou, puis, avant l'enregistrement, le document est relu et comparé à la version lue au départ. En cas de divergence, le système renvoie l'erreur « rechargez et recommencez » au lieu d'écraser silencieusement les données.
Il a fallu comparer le document entier, et non seulement le numéro de révision revision. L'opération seal() fait passer le plan de l'état draft à l'état sealed sans augmenter le numéro de révision. Un processus disposant d'une ancienne copie du brouillon pourrait donc écraser un plan déjà figé.
Pour ce type de conditions de course, un test classique est presque inutile : il peut réussir des dizaines de fois alors que l'erreur existe bel et bien. Dans test_competing_writers_cannot_lose_revision, deux threads lisent la même version et s'attendent via threading.Barrier. Ils tentent ensuite tous deux d'enregistrer, et le test exige qu'un seul réussisse, le second recevant un conflit. Il s'agit de threads d'un même processus, mais ce sont bien les méthodes réelles de ChangeSet qui sont testées. Un autre test simule le cas où le document a été figé entre la lecture et l'écriture. Les vérifications tournent dans GitHub Actions sous Linux, avec Python 3.10 à 3.13.
L'intégrité n'équivaut pas à l'autorisation
Une fois le plan figé avec seal(), la méthode set() ordinaire ne permet plus de modifier le contenu, sinon on vérifierait un plan et on en exécuterait un autre. Les corrections passent par amend() : cette méthode conserve l'historique, incrémente la révision, repasse le document en draft et annule la confirmation précédente. Si l'utilisateur a validé la modification de trois ressources, une quatrième n'hérite pas de cette autorisation.
L'intégrité du plan est contrôlée par un hachage canonique SHA-256. Il est recalculé avant la fixation et vérifié à nouveau ensuite pour le document figé. Le test test_frozen_payload_recalculated altère le contenu d'un tel document et constate que le plan est déclaré non prêt à l'exécution.
Mais le hachage indique qu'un document a été modifié, pas qui l'a modifié. Si l'agent appelle approve(source="user"), il s'agit d'une simple chaîne de caractères que l'agent peut lui-même transmettre : il proposerait alors une opération dangereuse et déclarerait lui-même que l'utilisateur l'a approuvée. C'est pourquoi, dans la version publiée, approve() rejette tous les appels, et les plans nécessitant une confirmation ne peuvent pas être figés via seal() en contournant ce contrôle. Il n'existe pas ici de canal de confirmation indépendant et de confiance, et l'auteur ne prétend pas en avoir un.
Un plan correct peut aussi devenir obsolète
Même si le plan correspond à la mission, qu'il est figé et qu'il a passé la vérification du hachage, le site lui-même a pu changer pendant la préparation. L'agent a lu une ressource, préparé une modification, figé le ChangeSet, et entre-temps quelqu'un a pu modifier l'objet. C'est pour cela que le plan conserve un read_set : les informations sur les objets d'origine et leurs empreintes de contrôle, qui permettent ensuite de vérifier que les données sont toujours à jour.
La conclusion pratique pour ceux qui donnent aux agents un accès à la production : les limites de la mission, les versions d'état et les confirmations doivent être garanties par du code déterministe, et non par des consignes dans le prompt. Certains de ces problèmes, comme la perte d'une écriture, n'ont d'ailleurs rien de spécifiquement lié à l'IA et se résolvent par une discipline d'ingénierie classique. Précision : les composants publiés sont des démonstrations, il ne s'agit pas d'une bibliothèque prête à l'emploi pour gérer des sites.
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
Questions clés sur cet article
Que sait-on sur Une décision de l'agent ne justifie pas de modifier le site ?
L'auteur sépare trois étapes : la prise de décision, la préparation du plan et l'exécution. TaskSpec décrit la mission et les actions admises. Resolver fait correspondre ces actions à des objets précis du site. DecisionSet consigne les choix techniques de l'agent. ChangeSet transforme l'ensemble en un plan vérifiable, que reçoit ensuite un Executor distinct. La méthode bind_scope() rattache chaque opération à la cible identifiée par Resolver et contrôle le type de l'objet, son statut et l'action autorisée.
Que sait-on sur Deux écritures réussies et une modification perdue ?
Les documents sont stockés dans des fichiers JSON : pour un petit nombre de tâches, une base de données séparée n'est pas nécessaire. L'écriture passe par un fichier temporaire suivi de flush, fsync et os.replace(), et la synchronisation repose sur le verrou fcntl.flock. Cela paraît fiable. Pourtant, si deux processus lisent la même révision, préparent chacun une modification différente, puis enregistrent l'une après l'autre, les deux écritures réussissent et le résultat de la première disparaît.
Que sait-on sur L'intégrité n'équivaut pas à l'autorisation ?
Une fois le plan figé avec seal(), la méthode set() ordinaire ne permet plus de modifier le contenu, sinon on vérifierait un plan et on en exécuterait un autre. Les corrections passent par amend() : cette méthode conserve l'historique, incrémente la révision, repasse le document en draft et annule la confirmation précédente. Si l'utilisateur a validé la modification de trois ressources, une quatrième n'hérite pas de cette autorisation. L'intégrité du plan est contrôlée par un hachage canonique SHA-256.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.