JockeyBench : 28 configurations d'agents LLM perdent de l'argent aux courses hippiques au Japon

Si un agent LLM prédit correctement l'issue d'un événement, peut-on pour autant gagner de l'argent avec lui ? L'équipe HKUST KnowComp a testé la question sur des courses hippiques japonaises et obtient une réponse dérangeante. Dans le benchmark JockeyBench, 28 configurations « modèle plus harnais » ont été évaluées sur 324 courses historiques. Après correction pour comparaisons multiples, les tests appariés relèvent sept améliorations dues à la révision de la prévision et deux dégradations. Pourtant, le bénéfice moyen avec des mises capped-Kelly est négatif pour chaque configuration, sans exception.

Les courses hippiques comme banc d'essai pour agents

Les auteurs (Zhongwei Xie, Xingsu Li, Jingqiao Yu, Zihao Wang, Hong ChiTat, Zhaowei Wang, Weizhi Du, Yuxuan Liu, Huihao Jing, Jiaxin Bai et Yangqiu Song) s'attaquent à un problème précis : la prévision répétée d'événements. L'agent doit extraire un signal de données bruitées, puis démontrer que ce signal a une valeur sur une série de décisions successives. Les courses hippiques conviennent presque idéalement à ce test : les événements sont réguliers, les issues sans ambiguïté, et le marché des paris donne un prix à l'erreur.

L'idée d'ingénierie centrale tient à la manière dont l'équité de l'expérience est garantie. Les données sont fournies selon la chronologie, et l'agent ne voit rien de ce qui se situe dans le futur par rapport à la course. Les outils sont payants : la recherche coûte donc de l'argent, et ce coût est pris en compte dans l'évaluation finale. Pour la comparaison, les auteurs utilisent des contrôles appariés avec des programmes figés, ce qui permet de séparer l'effet de la révision de la prévision de la simple dispersion aléatoire.

Deux schémas de travail et trois niveaux d'évaluation

Le benchmark compare deux flux de travail :

• le LLM écrit un prédicteur, c'est-à-dire un programme qui est ensuite exécuté et produit les prévisions ;
• le LLM rassemble des éléments et formule une nouvelle prévision pour chaque course prise séparément.

L'évaluation repose sur trois niveaux indépendants :

• la qualité de la prévision ;
• l'utilité nette, propre au benchmark, qui tient compte du coût des outils ;
• le rendement rétrospectif et le risque des paris, avec des règles de décision fixes.

La description du travail ne cite aucun nom de modèle précis, il est donc impossible de comparer les éditeurs à partir de ces résultats. On en tire en revanche un enseignement structurel. Dans la comparaison de quatre modèles, le mode à programme réutilisable procure un bénéfice moyen plus élevé et des dépenses de recherche plus faibles. L'avantage est relatif : en moyenne, les deux modes perdent de l'argent.

Où l'argent se cache et où il disparaît

Le diagnostic est la partie la plus intéressante. Le biais moyen des probabilités, qui paraît tolérable sur l'ensemble de l'échantillon, change de signe sur les paris que l'agent a réellement choisis. Autrement dit, le modèle est particulièrement sûr de lui là où sa confiance est erronée : la sélection des paris amplifie les estimations surévaluées. C'est un défaut bien connu de tous les systèmes qui cherchent de la « valeur » par rapport au marché, et les LLM n'en sont pas immunisés.

La seconde observation concerne les exécutions individuelles rentables. Elles dépendent de gains concentrés : une ou deux issues favorables suffisent à rendre positive toute la série. Si l'on ne regarde que les meilleures exécutions, on confond facilement chance et compétence. C'est précisément pourquoi le benchmark intègre des tests appariés et une correction pour comparaisons multiples, et calcule le bénéfice moyen sur l'ensemble des configurations.

Les chiffres se résument ainsi :

• 28 configurations « modèle plus harnais » ;
• 324 courses ;
• 7 améliorations significatives dues à la révision et 2 dégradations significatives ;
• 0 configuration avec un bénéfice moyen positif en capped-Kelly ;
• 4 modèles dans la comparaison distincte des deux flux de travail, où le mode à programme prêt à l'emploi l'emporte.

Le capped-Kelly fixe la taille de la mise selon le critère de Kelly, avec un plafond. Il pénalise la surestimation de ses propres probabilités, et c'est ce qui met au jour la faiblesse des agents.

La conclusion pratique pour ceux qui construisent des agents de prévision, qu'il s'agisse de demande, de prix, de risques ou d'événements de marché, est la suivante. Il faut évaluer séparément quatre éléments : la compétence prédictive, la capacité d'adaptation, la consommation de ressources et la valeur de la décision elle-même. L'amélioration d'une métrique de prévision ne garantit pas un rendement positif, et un programme réutilisable peu coûteux peut battre une recherche onéreuse menée pour chaque cas. Le code et la page du projet sont publiés sur GitHub et sur le site de HKUST KnowComp : le protocole peut donc être transposé à d'autres domaines où des événements se répètent.