Plan-and-Patch : un LLM à diffusion répare deux fois plus souvent les plans d'agents que Qwen3-8B

Le modèle de langage à diffusion DreamReasoner-8B réussit deux fois plus souvent à réparer un plan d'agent que le modèle autorégressif Qwen3-8B : 53,7% contre 27,0% sur le benchmark Natural Plan, sans fine-tuning pour la tâche. C'est le principal résultat du préprint Plan-and-Patch sur arXiv, qui propose un schéma de planification pour agents à long horizon. Après un entraînement spécifique sur ALFWorld et TextCraft, les deux modèles planifient avec un succès proche, mais le modèle à diffusion produit son plan 39–46% plus vite.

Comment fonctionne Plan-and-Patch

Le schéma relève de la classe plan-and-act. Le planificateur construit d'abord un plan structuré, semblable à un programme, puis l'exécutant en suit les étapes. Dans les scénarios longs, le plan survit rarement au contact de la réalité : des hypothèses deviennent caduques, un outil renvoie une réponse inattendue, une action échoue. L'agent doit donc savoir non seulement planifier, mais aussi réviser son plan.

La méthode habituelle pour un modèle autorégressif consiste à régénérer le plan. C'est coûteux en temps et risqué : le modèle peut modifier sans raison des étapes qui étaient correctes. Les auteurs proposent une autre voie. Seule la portion concernée du plan est masquée, tandis que le début (préfixe) et la fin (suffixe) restent figés. Le modèle à diffusion comble le trou en s'appuyant sur les deux bords. Il produit d'ailleurs le plan initial lui aussi par démasquage parallèle, et non token par token de gauche à droite.

Ma lecture : le contexte bidirectionnel est ce qui convient le mieux à la réparation. La correction d'une étape au milieu du plan dépend à la fois de ce qui la précède et de ce à quoi le plan doit aboutir ensuite. Un modèle autorégressif doit maintenir cette condition via le prompt ; pour un modèle à diffusion, elle est accessible directement dans le mécanisme de génération. Les auteurs invoquent ce mécanisme, mais l'abstract ne démontre pas le lien de causalité.

Ce que montrent les mesures

Les chercheurs ont comparé deux modèles de même échelle, 8 milliards de paramètres chacun : DreamReasoner-8B comme planificateur à diffusion et Qwen3-8B comme planificateur autorégressif. Le test de réparation a été mené sans entraînement spécifique à la tâche.

• Natural Plan, réparation de plan sans fine-tuning : 53,7% pour le modèle à diffusion contre 27,0% pour le modèle autorégressif, soit un écart de presque un facteur deux.
• ALFWorld et TextCraft après fine-tuning : le taux de réussite de la génération de plans est proche pour les deux modèles.
• Latence moyenne de génération d'un plan : inférieure de 39–46% pour le modèle à diffusion.
• Unité de correction : une région choisie du plan, les étapes environnantes restant inchangées.

Le tableau est nuancé, ce qui joue en faveur de sa crédibilité. La diffusion ne produit pas de meilleurs plans là où les modèles sont entraînés pour le benchmark : le taux de réussite de la génération s'égalise. Son avantage apparaît dans la réparation sans spécialisation et dans la vitesse.

Limites et usage pratique

Il s'agit pour l'instant d'un préprint non relu par des pairs, et toutes les données proviennent de modèles de classe 8B et d'environnements textuels. L'abstract ne permet pas de savoir comment le schéma se comporte sur de plus gros modèles, avec de vrais outils et des API bruitées. ALFWorld et TextCraft restent des simulations, alors qu'en production, les pannes sont moins ordonnées.

Pour ceux qui construisent des agents, ce travail suggère trois enseignements. Premièrement : stocker le plan comme une structure à étapes stables, afin de pouvoir le réparer localement et pas seulement le recréer. Deuxièmement : évaluer la réparation séparément de la génération, car des modèles qui réussissent aussi bien le plan initial peuvent différer fortement dans la réussite de la correction (ici 53,7% contre 27,0%). Troisièmement : mesurer la latence à chaque replanification. Dans un long scénario, l'agent replanifie à de multiples reprises, et le gain de 39–46% sur un seul appel s'accumule au fil de l'exécution de la tâche.

Si les résultats se confirment sur d'autres modèles et d'autres environnements, les modèles de langage à diffusion trouveront une niche pratique : un planificateur compact qui produit rapidement la structure et la corrige de façon ciblée, en laissant à l'exécutant le gros du travail avec les outils.