EinsiaAI lance Quant Arena : la moitié des 9 LLM s'incline face au marché des A-shares

EinsiaAI a publié Quant Arena, un benchmark qui vérifie si les grands modèles savent travailler comme chercheurs quantitatifs sur le marché chinois des actions. Neuf modèles de 6 éditeurs ont participé. Chacun a écrit une stratégie, lancé un backtest, amélioré son code, puis remis une seule version finale. Cette version a été testée sur des données de marché scellées à l'avance. Seuls les modèles de la gamme GPT et Opus 5.5 ont dégagé un profit ; les autres sont dans le rouge. Le meilleur résultat revient à GPT-6 Astra : environ 10% par an.

Un examen où l'on ne peut pas ajuster les réponses après coup

La plupart des benchmarks de code et d'agents regardent si le programme s'exécute et si les tests passent. Pour la recherche quantitative, cela ne suffit pas. Un code peut fonctionner parfaitement et pourtant décrire une stratégie qui brille sur l'historique, puis s'effondre sur de nouvelles données. Le piège classique est le surapprentissage du backtest : plus le modèle ajuste ses paramètres sur une période connue, plus la courbe de rendement s'embellit, et moins elle vaut.

Quant Arena contourne ce piège par la conception même du test. Le modèle voit l'historique et peut modifier sa logique autant d'itérations qu'il le souhaite, mais la version finale est évaluée sur des données qu'il n'a pas vues. Le benchmark mesure ainsi non pas la capacité à écrire une stratégie, mais celle à ne pas se tromper soi-même.

Conditions du test, d'après les données connues :

• 9 modèles de 6 éditeurs sur une même plateforme ;
• marché : actions chinoises A-share ;
• cycle : écriture de la stratégie, backtest, correction du code, remise de la version finale ;
• validation finale : cotations scellées à l'avance ;
• dans le vert : la gamme GPT et Opus 5.5, les autres sont déficitaires ;
• en tête : GPT-6 Astra, environ 10% par an.

Pourquoi les A-shares sont un examinateur exigeant

Le choix du marché n'a rien d'anodin. Les A-shares se caractérisent par une forte part d'investisseurs particuliers, des limites de variation quotidienne des prix et la règle T+1 : un titre acheté ne peut pas être revendu le même jour. Une stratégie importée du marché américain, reconstituée de mémoire à partir des données d'entraînement, se heurte facilement à cette microstructure. Le modèle ne peut pas se contenter de réciter le manuel sur le momentum et la mean reversion : il doit comprendre comment ce marché fonctionne réellement, et le traduire dans son code.

Que la moitié des participants ne gagne pas d'argent paraît logique. Un modèle de langage produit sans peine du code vraisemblable et une justification vraisemblable. Or le marché ne rémunère que les stratégies dotées d'un avantage statistique, et celui-ci ne naît pas de la fluidité d'un texte. Autre point révélateur : seules deux gammes passent dans le vert. La capacité à évaluer honnêtement son propre backtest semble dépendre du modèle précis plus que du niveau général en code.

Il faut aussi relativiser l'ampleur du succès. Environ 10% par an pour le meilleur modèle, c'est le résultat d'un fonds modeste, pas d'une planche à billets. Pour l'instant, le benchmark mesure l'écart entre les modèles, pas l'aptitude à leur confier des capitaux.

Ce que doivent retenir ceux qui construisent des agents financiers

Premier point : évaluer l'agent sur son résultat final sur des données fermées, et non sur la beauté d'un backtest qu'il a lui-même optimisé. Si vous construisez un assistant quant interne, gardez l'échantillon de validation hors de portée du modèle et ne le lui montrez pas, même indirectement.

Deuxième point : on ne peut pas choisir un modèle pour des tâches financières d'après les classements généraux de code. Quant Arena ajoute un axe de comparaison distinct : la capacité du modèle à résister à l'autopersuasion dans la boucle « écrit, testé, corrigé ».

Troisième point : les équipes qui travaillent sur les marchés chinois ont besoin de vérifications sur les spécificités locales. Il faut intégrer dès le départ les limites de prix et la règle T+1 dans le simulateur. Sinon, même un modèle performant optimisera sa stratégie pour des règles qui n'existent pas sur la vraie place boursière.

Enfin, les benchmarks de ce type vieillissent vite dès que leurs données entrent dans l'entraînement. L'échantillon scellé compte donc ici davantage que les classements eux-mêmes : c'est lui qui donne un sens à la comparaison des modèles.