Les agents Qwen3.6-27B et Qwen3-4B ne tiennent pas leur budget temps sans indications du harness

Dites à un agent « tu as 30 minutes », et il ne travaillera pas pile 30 minutes. Les auteurs d'un récent preprint publié sur arXiv l'ont vérifié sur deux petits modèles : Qwen3.6-27B sur cinq compétitions de MLE-Bench Lite et Qwen3-4B sur le jeu textuel Zork I, issu de la suite Jericho. Ces deux tâches ne sont pas choisies au hasard : dans les deux cas, du temps supplémentaire peut réellement améliorer le résultat. La conclusion est gênante. Les agents ne savent ni respecter une échéance, ni exploiter intelligemment une marge de temps.

Pourquoi le prompt seul ne suffit pas

Dans la configuration de base, le budget n'est mentionné que dans le texte de la tâche. Le harness, c'est-à-dire l'infrastructure qui lance l'agent et exécute ses commandes, ne lui indique en aucune façon le temps écoulé. L'agent reste sans horloge. Les auteurs identifient trois causes de l'échec :

• aucun retour sur le temps : le modèle ne voit pas combien de secondes ont déjà été consommées ;
• aucune estimation de la durée des actions : l'agent ne peut pas anticiper qu'un entraînement de modèle ou un long lancement ne tiendra pas dans le temps restant ;
• aucun lien appris entre budget et stratégie : une limite courte ne l'amène pas à choisir un plan plus simple, une limite longue ne l'incite pas à creuser davantage.

La deuxième cause pèse particulièrement sur MLE-Bench. Sur ce benchmark, une seule étape mal choisie, par exemple le lancement d'un entraînement lourd, engloutit tout le reste de la limite. Ici, l'erreur de planification est en réalité une erreur d'estimation du temps.

Ce qui a aidé, et ce qui n'a pas aidé

Les chercheurs ont testé deux types d'interventions. Le premier agit au niveau du harness : montrer les timings à l'agent et couper de force son exécution à l'échéance. Le second entraîne le modèle lui-même par reinforcement learning, plus précisément avec GRPO et une récompense qui tient compte du budget.

Côté harness, les résultats sont assez directs. Pour Qwen3.6-27B, la simple transmission d'informations sur le temps a nettement amélioré le respect du budget, sans baisse mesurable de la qualité. Les hooks d'arrêt forcé ont renforcé la discipline encore davantage. La solution est peu coûteuse : il n'y a pas à toucher au modèle, il suffit de modifier le harness.

Le RL donne un tableau plus nuancé. Sur Zork I, GRPO a amené le respect du budget presque à la perfection et a généralisé à des budgets absents de l'entraînement. Le modèle semble avoir réellement appris à reconnaître quand il faut s'arrêter. Mais sur MLE-Bench, l'entraînement n'a pas amélioré les métriques finales par rapport à un agent non entraîné dans le même harness.

La principale découverte est ailleurs. Même contraint de respecter la limite, l'agent n'utilise pas le temps supplémentaire de façon productive. Les politiques entraînées remplissent souvent les minutes restantes par des actions répétitives. Et lorsque l'entraînement porte sur plusieurs budgets à la fois, GRPO tend à s'effondrer vers la stratégie apprise pour la limite la plus courte. Autrement dit, le modèle respecte l'échéance, mais ne transforme pas un budget long en solution plus solide.

En pratique pour les développeurs d'agents

La conclusion la plus solide de ce travail : ne vous reposez pas sur le prompt. Si votre agent dispose d'un budget, donnez-lui un minuteur dans son contexte et une coupure stricte au niveau de l'infrastructure. Cela n'exige aucun réentraînement et, d'après les résultats sur le modèle 27B, ne dégrade pas la qualité.

Deuxième point : ne confondez pas respect de la limite et efficacité. La métrique « a terminé dans les temps » doit s'accompagner d'une métrique de résultat, mesurée sur plusieurs budgets. Si la qualité ne progresse pas quand la limite augmente, l'agent ne fait que brûler du temps.

Troisième point : lors d'un entraînement RL sous différentes limites, il faut surveiller l'effondrement vers le régime court. Il faut des vérifications distinctes sur les budgets longs et, éventuellement, des récompenses qui encouragent l'usage utile de la marge de temps, et pas seulement son respect. Les auteurs désignent explicitement cet écart entre discipline et productivité comme le problème central non résolu pour les agents soumis à une contrainte de budget.

Les limites de l'étude sont elles aussi évidentes : deux petits modèles et deux benchmarks. Il ne faut pas extrapoler ces conclusions sans vérification aux grands systèmes propriétaires. Mais comme diagnostic des erreurs typiques de gestion du temps chez les agents, le preprint est utile.