Tencent Hunyuan et Fudan lancent ExplorationBench pour évaluer l'exploration chez les LLM

Tencent Hunyuan et des chercheurs de l'université Fudan ont présenté ExplorationBench, un jeu d'évaluation de la capacité des systèmes d'IA à « explorer ». L'annonce est parue sur le compte officiel @TencentHunyuan sur X, puis @TencentAI_News l'a reprise et commentée. Les auteurs s'attaquent à l'une des caractéristiques les plus difficiles à mesurer chez les agents : savoir agir quand le bon chemin n'est pas connu d'avance. La source primaire dont nous disposons ne contient aucun résultat chiffré de modèles, et nous n'en inventerons pas.

Ce que l'on sait à ce jour

Les faits sont peu nombreux, mais clairs. Le benchmark s'appelle ExplorationBench. Son objectif est formulé comme la mesure de la façon dont un système d'IA « explore ». Le travail est mené par l'équipe de Fudan, qui avait déjà publié CL-bench, avec la participation de Tencent Hunyuan. Pour Tencent, c'est le deuxième projet d'évaluation mené avec un partenaire universitaire : on est face à un schéma établi, pas à une opération ponctuelle.

Paramètres clés de l'annonce :

• Nom : ExplorationBench.
• Objet mesuré : le comportement exploratoire des systèmes d'IA, et non la précision de la réponse à une question fixe.
• Auteurs : l'équipe de l'université Fudan et Tencent Hunyuan.
• Prédécesseur : CL-bench, du même groupe de Fudan.
• Canaux de publication : les comptes X de Tencent Hunyuan et de Tencent AI.
• Non précisé dans le texte disponible : le nombre de tâches, le format des environnements, les métriques, la liste des modèles testés, la licence et le lien vers le code.

Pourquoi l'exploration est devenue un point de blocage

La plupart des tests populaires vérifient le résultat final : une réponse correcte, des tests unitaires réussis, une tâche résolue. Les scénarios agentiques fonctionnent autrement. L'agent arrive dans un environnement où l'information est incomplète, et il doit décider quoi vérifier, où aller et quand s'arrêter. Le dilemme classique entre exploration et exploitation est connu de longue date en apprentissage par renforcement, mais il se manifeste différemment chez les agents LLM. Un modèle peut exploiter avec assurance sa première hypothèse concluante sans voir qu'il en existe une meilleure. Ou, à l'inverse, collecter des informations sans fin et ne jamais passer à l'action.

La métrique finale de réussite distingue mal ces échecs. Deux agents obtiennent le même score, alors que l'un a trouvé la solution de façon systématique et l'autre au hasard. Un benchmark dédié à l'exploration est nécessaire pour observer le processus lui-même : l'exhaustivité du parcours, les actions répétées, la réaction à une nouvelle information.

Ce qui manque dans l'annonce

La question principale posée à ExplorationBench est de savoir comment il définit précisément l'exploration. Tout en dépend. Si les environnements sont déterministes et finis, le benchmark risque de se réduire à un test de force brute. S'ils sont ouverts, se posent des problèmes de reproductibilité et de notation. Il faut aussi comprendre si le jeu d'évaluation dissocie la capacité d'exploration de l'intelligence générale du modèle. Les modèles forts l'emportent en règle générale partout, et sans conditions de contrôle, on ne peut pas prouver la part propre au comportement exploratoire.

La seconde question porte sur l'ouverture. Si le code et les données sont publiés, le benchmark pourra devenir un outil commun ; sinon, il restera une vitrine pour les modèles Hunyuan internes. L'expérience de CL-bench montre que le groupe est prêt à publier ses travaux d'évaluation, mais nous ne pouvons pas encore confirmer le calendrier ni les conditions pour ce nouveau jeu.

Comment l'utiliser dès maintenant

Pour une équipe qui développe des agents, il est utile dès aujourd'hui d'ajouter à sa propre évaluation des métriques de processus : le nombre d'actions répétées, la part d'états uniques, le moment du premier accès à la bonne source. Quand ExplorationBench sortira avec son code, ces données pourront être commodément comparées à ses résultats. Pour choisir un modèle destiné à un produit agentique, mieux vaut attendre la publication des tableaux et regarder non pas un score moyen unique, mais la ventilation par type d'environnement.

En lisant le futur rapport, vérifiez trois points : contient-il des exécutions indépendantes de modèles concurrents, la dispersion entre les lancements est-elle indiquée, et les trajectoires des agents sont-elles publiées ? Sans cela, tout classement relèvera de la publicité, et non de la mesure.