HERA apprend aux agents IA à refuser les tâches impossibles : la précision passe de 61,7% à 83,3%

Un agent qui fait avec aplomb ce qui ne peut pas être fait est plus dangereux qu'un agent qui se trompe tout simplement. Il appelle des outils, dépense du budget et annonce un succès là où aucune solution n'existe. Les auteurs de l'article HERA, repéré dans les Hugging Face Daily Papers, proposent un moyen d'y remédier.

Sur les tâches retenues pour le test, leur harnais issu de l'évolution a fait passer la précision des refus de 61,7% à 83,3%. Dans le même temps, la part de tâches solvables accomplies est montée de 68,3% à 76,7%. Le meilleur harnais a ensuite été transféré à 19 autres LLM, auxquels il a apporté en moyenne 15,3 points de pourcentage de précision des refus.

Le problème : les agents ne savent pas dire « je ne peux pas »

L'article désigne ce phénomène par le terme agentic abstention : la capacité d'un agent à reconnaître qu'une tâche est irréalisable dans l'environnement courant, et à s'arrêter. Jusqu'ici, on cherchait à renforcer la fiabilité dans ces cas de deux manières : réentraîner le modèle, ou régler son harnais (harness), c'est-à-dire tout ce qui entoure le modèle : instructions, règles d'utilisation des outils, vérifications. Les deux approches optimisaient pour un ensemble fixe de tâches. Le résultat est prévisible : cela fonctionne sur les pièges connus à l'avance, mais pas sur de nouveaux types de défaillances.

HERA s'attaque précisément à cette étroitesse. Le framework comprend deux parties, et la seconde compte davantage que la première.

Comment fonctionne HERA

La première partie est un pipeline qui construit automatiquement des paires de tâches vérifiables : une réalisable, une irréalisable. La tâche irréalisable est obtenue à partir de la tâche réalisable par une mutation contrôlée de l'environnement. Par exemple, on retire de l'environnement un élément sans lequel la solution est impossible. La paire offre un contraste net : l'agent doit venir à bout d'une version et refuser l'autre. La vérifiabilité est ici essentielle : la bonne réponse est connue par construction, et aucun étiquetage manuel n'est nécessaire.

La seconde partie est une procédure de coévolution. Les échecs sur les tâches précédentes orientent l'adaptation du harnais, et ces mêmes points faibles deviennent une commande pour générer de nouveaux environnements et de nouvelles tâches. Le harnais s'améliore, l'environnement se durcit là où l'agent a échoué, et le cycle recommence. Au lieu d'un benchmark statique, on obtient un banc d'entraînement qui s'adapte aux faiblesses.

Les chiffres

• Précision des refus sur les tâches retenues : 61,7% → 83,3% (+21,6 points de pourcentage).
• Exécution des tâches solvables : 68,3% → 76,7% (+8,4 points de pourcentage).
• Sur ces deux indicateurs, HERA devance les autres méthodes comparées.
• Transfert à 19 autres LLM : +15,3 points de pourcentage de précision des refus en moyenne, sans optimisation pour un modèle donné.
• Selon l'estimation des auteurs, les petits modèles dotés de ce harnais rejoignent des modèles plus puissants pour des coûts inférieurs d'environ 85%.

La hausse sur les tâches solvables mérite une mention à part. Le prix habituel de la prudence, c'est l'excès de précaution : l'agent se met à refuser alors qu'une solution existe. Ici, cela ne s'est pas produit : les deux métriques ont progressé en même temps. Notre calcul : les valeurs progressent par pas multiples de 1,67 point de pourcentage, ce qui suggère un jeu de test d'environ 60 tâches. L'échantillon est petit ; il faut donc lire avec prudence les écarts de quelques points entre méthodes. Le transfert à 19 modèles joue en revanche le rôle de vérification indépendante : un résultat moyenné sur autant de LLM dépend moins de la chance sur un seul jeu de données.

La partie la plus concrète du résultat, c'est l'économie. Un harnais mis au point une seule fois se transfère à d'autres modèles, et un petit modèle bien équipé couvre une partie des scénarios à la place d'un modèle phare coûteux. Les 85% d'économie restent une estimation : les auteurs ne la présentent pas comme un coût mesuré en production, et sous charge réelle le chiffre dépendra des tarifs et du profil des tâches.

Pour les équipes qui construisent des agents, l'article suggère trois enseignements. Premièrement, il faut inclure les tâches impossibles dans le jeu de tests comme une classe à part, avec sa propre métrique. Deuxièmement, la mutation d'environnement est un moyen peu coûteux d'obtenir de tels cas : on prend un scénario qui fonctionne et on casse la condition dont dépend la solution. Troisièmement, avant de payer pour un modèle plus puissant, mieux vaut vérifier si un harnais retravaillé ne règle pas le problème. Des limites demeurent : les résultats ont été obtenus sur les environnements propres aux auteurs, et la robustesse face aux défaillances que les mutations ne couvrent pas reste à vérifier.