CLEAT apprend aux agents Qwen3-4B à poser les bonnes questions au bon moment : jusqu'à +13,2 points

Des chercheurs ont publié sur arXiv CLEAT, un framework qui apprend à un agent LLM à décider quand il doit redemander des précisions à l'utilisateur et quand il vaut mieux agir seul. Sur le modèle Qwen3-4B, la méthode obtient le meilleur score moyen dans les dix configurations de test, réparties sur quatre benchmarks. Par rapport à la meilleure baseline, le gain atteint 13,2 points de pourcentage sur UserGym Travel et 6,5 points de pourcentage sur la précision de détection de la sous-spécification de la requête sur IN3.

Le problème : une question n'est pas toujours utile

Les agents prennent en charge des tâches de plus en plus complexes, mais les utilisateurs n'explicitent souvent ni leurs objectifs ni leurs contraintes. Une personne demande d'organiser un voyage sans mentionner son budget ni les correspondances à éviter. L'agent peut deviner et se tromper. Il peut aussi submerger l'utilisateur de questions et dégrader l'expérience. Les auteurs formulent le problème comme un alignement interactif sur l'intention, par la clarification.

Le sujet est délicat. Une clarification n'a de sens que si l'agent est capable de transformer la réponse en une meilleure solution. Au fil de l'entraînement, la façon dont le modèle traite l'information incomplète et exploite les nouvelles réponses évolue. Une même question peut donc être utile à un moment et inutile à un autre. Des règles statiques du type « demande si des paramètres manquent » ne suivent pas cette dynamique.

Comment fonctionne CLEAT

Le nom signifie CLarification through valuE-guided Agent co-Training. Le framework entraîne conjointement deux composants : un contrôleur de valeur des clarifications et une politique chargée de résoudre la tâche. Tous deux apprennent à partir des résultats communs des interactions.

Le concept central du travail est la valeur résiduelle d'une requête (residual query value). Elle mesure le bénéfice qu'apporte une question pour la tâche, par rapport à la poursuite du travail avec la politique actuelle. Pour l'estimer, les auteurs lancent des exécutions appariées à partir d'un même historique de dialogue : dans l'une, une branche pose la question ; dans l'autre, l'agent agit immédiatement. L'écart entre les retours constitue l'étiquette de valeur.

Ces retours appariés servent à deux usages. Le contrôleur apprend à prédire la valeur d'une clarification. La politique apprend à choisir les questions utiles et à s'appuyer sur les réponses. La boucle se referme ensuite : le contrôleur oriente la collecte des exécutions suivantes, et les résultats de l'agent mis à jour fournissent de nouvelles étiquettes. Les incitations à clarifier s'ajustent ainsi aux capacités croissantes du modèle.

Ce que montrent les expériences

Principaux résultats dans la version v1 du preprint :

• modèle de base : Qwen3-4B ;
• meilleur score moyen dans les 10 configurations d'évaluation sur 4 benchmarks ;
• jusqu'à +13,2 points de pourcentage par rapport à la meilleure baseline sur UserGym Travel ;
• +6,5 points de pourcentage sur la précision du jugement de sous-spécification sur IN3 ;
• ablations : l'entraînement conjoint améliore la politique, même lorsque le contrôleur est désactivé à l'inférence ;
• l'adaptation des incitations à l'évolution de la politique apporte un gain supplémentaire.

Le dernier point est le plus important pour la pratique. Il signifie que le contrôleur ne joue pas seulement le rôle de filtre au moment de l'inférence : il agit aussi comme un enseignant, en modifiant la manière même dont l'agent traite les données incomplètes.

À quoi cela peut servir

Les équipes qui conçoivent des agents pour la réservation, le support ou le code disposent d'un principe clair : mesurer l'utilité marginale d'une question plutôt que d'imposer un seuil fixe. Si l'assistant pose trop de questions, les utilisateurs partent. S'il en pose trop peu, il se trompe en silence. Les exécutions appariées permettent de calibrer cet équilibre sur des résultats réels de tâches.

Les limites sont également visibles. Les résultats ont été obtenus sur un petit modèle de 4 milliards de paramètres et n'ont pas encore été évalués par des pairs. Les exécutions appariées à partir d'un même historique impliquent des calculs supplémentaires à l'entraînement. L'abstract ne dit pas comment la méthode se comporterait sur de grands modèles ni dans des produits réels avec des utilisateurs en conditions réelles. Mais le principe lui-même, où la valeur d'une question est réévaluée à mesure que l'agent progresse, semble applicable au-delà de cette implémentation précise.