EvoBelief apprend aux agents LLM à vérifier leurs hypothèses sur le monde : 83,3% contre 0% pour les baselines

Un agent capable d'agir mais qui comprend mal le fonctionnement du monde finit quand même par se tromper. Un nouveau travail publié sur arXiv propose EvoBelief : un système où une LLM gelée construit et révise un modèle de l'environnement sous forme d'hypothèses réfutables. Sur ALFWorld, sans actor-side transition memory, il améliore le taux de réussite de 23,9% avec Claude Haiku 4.5 et de 31,3% avec GPT-5.4 par rapport à une Frozen World Model comparable. Dans Reactor Lab, issu de DiscoveryWorld, la méthode résout 83,3% des tâches de niveau Normal et 58,3% du niveau Challenge, tandis que chacune des baselines testées obtient 0%.

La plupart des agents self-evolving améliorent leurs procédures : ils accumulent de l'expérience, pratiquent la réflexion, constituent des bibliothèques de compétences. Les auteurs d'EvoBelief choisissent un autre axe d'amélioration : les croyances sur la dynamique de l'environnement. Si l'agent pense qu'une porte s'ouvre avec une clé alors que la règle a changé dans l'environnement, aucune compétence ne le sauvera. Pire, une croyance erronée, utile dans une tâche, passe dans les autres et les dégrade.

Comment fonctionne le mécanisme

La connaissance de l'environnement est ici stockée sous forme d'un ensemble d'hypothèses à portée d'application limitée. Une hypothèse naît dans deux cas : lorsque le résultat d'une action est inattendu, ou lorsque l'agent se heurte à une inconnue dont dépend sa décision.

Vient ensuite une discipline de vérification. Une règle n'entre pas dans les prédictions et les plans tant qu'elle n'a pas été confirmée de façon indépendante, par des observations ultérieures ou des expériences contrôlées. La confirmation ne doit pas provenir du même épisode que celui qui a produit l'hypothèse. Si un contre-exemple apparaît, la règle est restreinte ou retirée du service. L'agent réagit ainsi au changement d'environnement au lieu de s'accrocher à l'ancienne représentation.

Les poids du modèle de langage ne sont pas modifiés. Seule change la base de règles externe, et chaque entrée conserve son lien avec les preuves et avec les décisions qu'elle a modifiées. Pour les ingénieurs, cela signifie qu'on peut ouvrir la base et voir pourquoi l'agent a agi de telle manière plutôt qu'une autre.

Résultats sur quatre benchmarks

Les tests ont porté sur quatre jeux de tâches : dynamique statique, dérive cachée et découverte scientifique. Le texte de l'étude donne les chiffres suivants :

• ALFWorld sans actor-side transition memory : +23,9% de réussite par rapport à la Frozen World Model avec Claude Haiku 4.5.
• ALFWorld, même configuration avec GPT-5.4 : +31,3%.
• MiniGrid : l'agent révise les règles devenues obsolètes et se rétablit après des changements de dynamique non annoncés.
• DiscoveryWorld, Reactor Lab, niveau Normal : 83,3% d'instances accomplies.
• DiscoveryWorld, Reactor Lab, niveau Challenge : 58,3%.
• Toutes les baselines évaluées dans Reactor Lab : 0% aux deux niveaux.

À noter : les pourcentages 83,3 et 58,3 ressemblent à 10 sur 12 et 7 sur 12, ce qui laisse penser que l'échantillon par niveau est probablement réduit. L'écart avec zéro impressionne, mais la robustesse statistique reste à vérifier sur des jeux plus vastes. La comparaison sur ALFWorld est en outre liée à une configuration précise, sans mémoire des transitions côté acteur, et le gain peut différer dans d'autres réglages.

Reactor Lab mérite une mention à part : l'agent ne se contente pas de mémoriser, il découvre et confirme des lois quantitatives. Pour les tâches de recherche scientifique, c'est plus proche du travail réel que la navigation dans des pièces.

Ce qu'il faut en retenir

Si vous construisez des agents pour des environnements de longue durée (outils internes, API qui changent sans préavis, simulations, automatisation de laboratoire), l'idée s'applique même sans cette implémentation précise. Stockez les hypothèses sur l'environnement séparément des compétences et des prompts. Attribuez à chaque règle une portée d'application et un lien vers ses preuves. N'autorisez pas une règle à entrer dans la planification avant une vérification indépendante, et restreignez-la ou supprimez-la en cas de contre-exemple.

Second avantage pratique : la mise à jour des connaissances sans réentraînement. Le modèle du fournisseur peut changer, la base de règles accumulée demeure, et elle peut être auditée. La limite est tout aussi évidente : les expériences contrôlées supposent que l'environnement permette d'essayer des actions sans danger. En production, là où une erreur coûte de l'argent, il faudra des sandboxes ou des restrictions sur les hypothèses que l'agent a le droit de tester activement.