Quant-Arena : aucun des 9 LLM n'a battu le marché des actions A en 2024

Neuf modèles frontier ont tenté de jouer les chercheurs quants sur des données réelles du marché chinois des actions A (A-share). Aucun d'eux n'a battu en 2024 un simple portefeuille équipondéré du marché. GPT-6 Astra décroche le meilleur résultat du classement, mais celui-ci ne s'est pas traduit en surperformance sur les données mises de côté. C'est ce qui ressort de Quant-Arena, un nouveau benchmark et classement public dédié à la recherche quantitative de bout en bout, décrit dans un article publié sur Hugging Face Daily Papers.

Tout le cycle plutôt que des maillons isolés

Le travail quantitatif fonctionne en boucle. Le chercheur formule une hypothèse de marché, la transforme en signal exécutable, la fait tourner sur l'historique, puis décide de ce qu'il garde et de ce qu'il jette. Les benchmarks existants testent des maillons séparés : l'exactitude d'une formule, la qualité d'un code ou une décision de trading isolée. Reste une question : un LLM peut-il parcourir toute la boucle et produire une stratégie qui fonctionne en dehors de la période sur laquelle elle a été conçue ?

Quant-Arena pose précisément cette question. Le modèle construit lui-même ses features et écrit le code de scoring des actions. Il ne reçoit de retour que sur 2022–2023. Il ffige ensuite une seule stratégie, qui est testée sur 2024, une année scellée que le modèle n'a pas vue.

Compte comptant, commissions et carnet d'ordres

L'élément clé de la conception du benchmark est l'évaluateur. Il fonctionne comme un cash-account (compte comptant) : il applique les contraintes de trading et les coûts, et estime l'impact sur le marché à partir d'un carnet d'ordres simulé. Cela comble une faille classique de nombreux backtests, où une belle courbe de rendement repose sur l'hypothèse que n'importe quel volume peut être acheté au prix courant, sans conséquence.

Le score final se compose de trois éléments :

• la surperformance réalisée, composante principale, qui porte l'essentiel du poids ;
• la qualité du signal ;
• la diversité des features utilisées par la stratégie.

Le troisième point protège contre les solutions dégénérées. Un modèle qui a trouvé un seul facteur efficace et l'a décliné en dix variantes obtiendra moins qu'un modèle qui a réuni des sources de signal réellement différentes.

Le meilleur résultat reste sous le marché

Les auteurs ont testé neuf modèles frontier. GPT-6 Astra prend la première place au score final. Mais ce score inclut le signal et la diversité, alors que le test décisif porte sur l'argent gagné sur l'année scellée. Là, le constat est sévère : aucun modèle n'a surpassé le marché équipondéré en 2024.

On peut en tirer une conclusion prudente. Les agents LLM savent écrire du code, générer des features et améliorer des métriques sur la période dont ils disposent. Cela ne garantit pas encore une rentabilité durable hors échantillon. Une explication possible est le surapprentissage sur 2022–2023 : l'agent ne reçoit de retour que sur ces deux années et s'optimise pour elles. Un changement de régime de marché peut aussi jouer un rôle. Mais ces mécanismes restent des hypothèses ; le seul fait établi est le suivant : une idée qui paraissait bonne sur l'historique n'a pas survécu à l'année scellée.

Le marché équipondéré n'a pas été choisi comme barre par hasard. C'est une référence ennuyeuse, peu coûteuse et difficile à battre, et c'est avec elle que se compare tout gérant actif. Tant qu'un agent ne peut pas la dépasser après prise en compte des coûts et de l'impact sur les prix, il est trop tôt pour parler d'automatisation de la recherche d'alpha.

Comment utiliser Quant-Arena

Le benchmark accepte les soumissions de n'importe quel modèle ou harnais d'agent. C'est un point essentiel : le classement permet de comparer non seulement des LLM de base, mais aussi des systèmes entiers dotés de mémoire, d'outils, de boucles d'autovérification et d'une discipline de sélection des hypothèses.

Pour les équipes qui construisent des agents pour la finance, l'intérêt est concret. D'abord, c'est un banc d'essai prêt à l'emploi, avec une séparation stricte des périodes, qui permet de repérer facilement le surajustement à l'historique. Ensuite, la métrique de diversité des features montre si l'agent explore l'espace des hypothèses ou fait du surplace. Enfin, la prise en compte de l'impact sur le marché donne une évaluation plus honnête de la capacité de la stratégie à monter en charge qu'un backtest sans coûts.

Pour les investisseurs et les gérants, la conclusion est plus simple : les déclarations tapageuses sur les traders IA autonomes méritent d'être vérifiées sur des données hors échantillon. Tant que le meilleur modèle de Quant-Arena reste sous le portefeuille passif, le rôle des LLM dans les équipes quantitatives ressemble à celui d'un assistant pour le code et les idées, et non d'un remplaçant du chercheur.