Benchmark HALO : 61,20% des réponses rejetées des agents IA relèvent d'une aide trop précoce ou trop intrusive

Un agent proactif doit décider seul s'il y a lieu d'aider, à quel moment et jusqu'où aller, le tout sans demande explicite. Des chercheurs de l'Université de Californie à Davis et de l'Université de Californie du Sud ont proposé le benchmark HALO pour évaluer cette capacité. Sa principale conclusion : les agents se trompent le plus souvent non par inaction, mais par excès d'initiative. Parmi les réponses rejetées par les évaluateurs humains, 61,20% (2188 sur 3575) péchaient par une intervention trop précoce ou par une force d'action excessive.

Comment HALO est construit et qui a annoté les réponses

Les scénarios couvrent quatre types de besoins : la dépendance (il manque une condition pour une tâche à venir), le blocage (l'activité en cours ne peut pas se poursuivre), le risque (un problème possible ne s'est pas encore produit) et l'opportunité (une étape utile mais facultative). Ils sont répartis sur 10 domaines de la vie quotidienne : des études et du travail à la famille, la santé, les voyages, les finances et les loisirs. Chaque domaine compte cinq personnages, soit 50 environnements personnels au total. Chaque environnement contient huit scénarios, ce qui en fait 400 au total.

Un environnement se compose d'une messagerie, d'un calendrier, d'un chat, de contacts et d'un portefeuille, tandis que les éléments de preuve sont stockés dans des bases SQLite et des fichiers texte. L'agent dispose de 29 commandes de recherche de données et de 19 commandes d'action. À chaque point de contrôle, il voit une partie de la chaîne d'événements, peut collecter des données en plusieurs tours, puis doit produire une seule réponse exécutable ou renoncer à agir.

Les actions sont classées par niveaux : L0 — observation, L1 — attirer l'attention, L2 — préparation sans engagement externe, L3 — exécution avec des conséquences réelles. Un niveau plus élevé ne signifie pas une meilleure aide. Les scénarios ont été créés par GPT5.

6-Sol, puis vérifiés par un validateur et des relecteurs.

À partir de cet environnement, les chercheurs ont constitué le jeu de données HALO-8K : 8000 réponses de 10 modèles, soit 800 par modèle. Vingt experts ont rendu un verdict d'acceptabilité et, pour les réponses rejetées, indiqué le motif : caractère prématuré, tardif, insuffisant, excessif, etc. Une inaction raisonnable était comptée comme une réponse correcte.

Ce que montrent les résultats

L'écart est important : de 30,38% pour GPT-OSS-20B à 72,88% pour Gemini3.8-Flash. Même le meilleur modèle produit une réponse inacceptable dans plus d'un quart des cas. Parmi les modèles ouverts, DeepSeekV4-Pro est en tête avec 56,63% et devance les modèles fermés Gemini3.1-Pro et GPT5.6-Luna. En moyenne, les modèles fermés obtiennent 63,08% et les modèles ouverts 47,55%, mais les trois meilleurs modèles ouverts se tiennent dans un intervalle de 2,50 points, et c'est la queue de peloton qui tire la moyenne vers le bas.

Les agents ont le plus souvent choisi le niveau L1 (69,20% des réponses), L3 représente 16,09% et L2 seulement 4,18%. La part d'exécution est quasiment identique dans les deux groupes, environ 16,1%. Les modèles fermés choisissent deux fois plus souvent L0. L'intervention prématurée est près de trois fois plus fréquente que l'intervention tardive, et la force excessive environ deux fois plus fréquente que la force insuffisante. Les deux meilleurs modèles commettent le moins ces erreurs.

L'inaction ne garantit pas à elle seule la qualité. Qwen3.8-27B ne se trompe quasiment jamais par inaction (0% Inaction), mais il ne choisit L0 que dans 0,38% des cas et n'atteint que 55,13% d'acceptabilité.

La recherche de données compte plus que le volume de raisonnement

Les modèles ouverts dépensent en moyenne 4,77 k tokens de raisonnement et effectuent 1,21 tour de recherche par réponse. Pour les modèles fermés, ces chiffres sont de 5,53 k tokens et 2,55 tours. Les modèles ouverts consomment donc seulement 14% de tokens en moins, mais environ 53% de recherche en moins. Parmi les rappels, le recours au contenu local est associé à une acceptabilité plus élevée et conduit moins souvent à un verdict « insuffisant ». Claude-Opus5.5, deuxième du classement, dépense environ 23% des tokens de raisonnement du leader : un bon résultat est donc possible avec des niveaux de ressources très différents.

Même lorsque le moment du rappel est bien choisi, les rappels s'avèrent souvent insuffisants et l'exécution excessive.

Limites

L'acceptabilité varie peu selon le type de besoin (54,35–56,00%), et de 50,88% à 58,88% selon le domaine. L'évaluation repose sur un échantillon de 800 réponses par modèle, et les tokens sont comptés selon les règles de différents fournisseurs, d'où la nécessité de comparer prudemment la consommation. Les scénarios sont générés par un modèle, même s'ils sont vérifiés par des humains. La conclusion pour les développeurs : un assistant proactif doit se mesurer non au nombre de besoins détectés, mais à la pertinence du moment et de l'ampleur de l'action, et un produit devrait conserver L0 et L1 comme modes sûrs par défaut.