Test pour analystes IA : le meilleur score atteint 68 sur 100, mais seulement 52,5 en prévisions

Investor's Last Exam est un nouveau benchmark, c'est-à-dire un ensemble de tâches servant à comparer des modèles. Il a été conçu par des chercheurs de l'Antai College of Economics and Management, rattaché à l'université Jiao-tong de Shanghai, avec des investisseurs expérimentés et des gérants de fonds. Le principe est simple : confier à un agent IA le travail d'un analyste qui étudie une entreprise et décide où placer l'argent, puis vérifier s'il y parvient sans regarder dans le futur. Le meilleur système, GPT-6 Astra, obtient 68,1 sur 100. Mais en prévisions, il ne décroche que 52,5. Autrement dit, les modèles ont nettement mieux appris à lire des rapports et à formuler des conclusions qu'à prédire des chiffres.

Comment enfermer un agent dans le passé

Le problème central des tests financiers est la fuite d'informations depuis le futur. En général, les données sont limitées par un filtre sur la date de publication de la page. Les auteurs montrent que ce filtre ne suffit pas : la date affichée sur la page peut rester ancienne alors que le contenu a été mis à jour plus tard. Dans la tâche sur Tesla (numéro O74), l'agent GPT-6 Astra a envoyé une requête avec une date antérieure à la fin du trimestre et a tout de même obtenu une source datée du 2 juillet, contenant les livraisons effectives de véhicules du deuxième trimestre.

Les auteurs ont donc constitué un corpus qui conserve chaque version d'un document, sans rien écraser. Au 15 octobre 2026, il compte 3 430 336 versions et 1,52 To de matériaux. Les sources se répartissent en neuf catégories :

• rapports financiers ; • tableaux de reporting structurés ; • conférences téléphoniques avec les investisseurs à l'issue du trimestre ; • documents destinés aux investisseurs ; • événements liés aux émetteurs ; • prévisions d'analystes ; • rapports de recherche ; • positions des investisseurs institutionnels ; • actualités.

S'y ajoutent des données de marché sur les prix, les rendements et la volatilité. Les marchés couverts sont ceux des États-Unis, de la Chine continentale et de Hong Kong.

Chaque version possède un horodatage d'apparition, un fuseau horaire et une confirmation. Si la date ne peut pas être établie de façon fiable, le document n'entre pas dans les tâches. Pour les entrées douteuses, les dates ont d'abord été estimées puis revérifiées par des modèles récents. La restriction s'applique à toute la chaîne : la recherche, la lecture, le téléchargement et le cache contrôlent la disponibilité de la même manière. Les données tabulaires sont figées après la requête, et les corrections tardives ne les modifient pas. L'agent effectue ses calculs dans un bac à sable sans accès au réseau.

Ce qui est évalué, et par qui

Les tâches s'articulent autour de livrables réels du travail d'analyste : cinq catégories, vingt sous-types, ainsi que des rapports complets et des tâches de trading consistant à prévoir un prix, un rendement ou une volatilité. Le test compte 86 tâches au total. Chacune est notée selon trois axes : qualité de la recherche, précision de la prévision et résultat d'investissement hypothétique.

Chaque exigence des critères d'évaluation est rattachée à une source, à un calcul ou à une hypothèse via un graphe de dépendances financières. Les experts formulent la question et les jugements, les agents rassemblent les éléments de preuve, plusieurs modèles vérifient les brouillons, et ce sont des humains qui valident les critères définitifs. Les réponses de référence et les critères sont inaccessibles aux agents. Dans l'étude, c'est GPT-6 Astra qui joue le rôle d'évaluateur.

Les exemples montrent où les modèles trébuchent. Dans la tâche sur Microsoft (O58), le chiffre d'affaires du cloud ne doit pas être ajouté comme un quatrième segment : il est déjà inclus dans les trois autres. Dans la tâche sur AEP (N27), la hausse du flux de trésorerie opérationnel ne signifie pas que l'entreprise a besoin de moins de financement externe, une fois les investissements et les ajustements pris en compte. Le refinancement recèle un piège similaire : la somme de la trésorerie, du flux et de la ligne de crédit non utilisée semble suffisante, jusqu'à ce qu'on lise les covenants du prêt.

Où les modèles se trompent

Onze systèmes ont été testés. Derrière GPT-6 Astra et ses 68,1 points vient Claude Opus 5.5 avec 66,9. Voici le détail des compétences d'Astra :

• recherche et travail sur les éléments de preuve : 78,9 ; • évaluation et décision d'investissement : 77,6 ; • prévisions et construction de modèles : 52,5.

Le classement change quand on regarde non plus l'analyse, mais l'issue réelle. DeepSeek V4.1 Flash est celui qui a le mieux approché les résultats réels des prévisions. Kimi K3, avec un score de recherche inférieur, a généré plus de rendement hypothétique qu'Opus. Le score global ne dit pas quel modèle devinera le mieux le marché.

Sur les erreurs, les auteurs écrivent que les modèles bouclent le bilan des flux de trésorerie, mais distinguent mal une amélioration réelle de l'activité opérationnelle de mouvements de trésorerie temporaires. Ils produisent des explications et des recommandations cohérentes, mais ne garantissent pas que les hypothèses, les états comptables et les chiffres finaux forment un modèle vérifiable. Des problèmes surviennent aussi lors de l'envoi de la réponse et de la reprise après erreur. Une partie des écarts vient de formulations floues dans les critères, et non de la faiblesse des modèles.

Principale conclusion : le point faible s'est déplacé de l'accès à l'information et de l'arithmétique vers le calibrage des hypothèses et la cohérence du modèle. Pour les équipes qui développent des agents financiers, cela signifie qu'il faut évaluer non seulement le rapport final, mais aussi la chaîne « source — hypothèse — calcul — décision ». Et il faudra borner le futur au niveau du système, et non avec un simple filtre de date dans la requête.