Six agents IA ont prévu le bénéfice par action : trois égalent les analystes

Que se passe-t-il si l'on donne à un modèle de langage une pile de rapports d'entreprise, la transcription d'une conférence téléphonique avec les investisseurs et des articles de presse, puis qu'on lui demande de prévoir le bénéfice par action ? Des chercheurs du Georgia Institute of Technology ont créé pour cela le benchmark EPSBench. L'EPS (earnings per share) est le bénéfice net divisé par le nombre d'actions.

Le test retient la version « diluée » selon les GAAP, c'est-à-dire selon les règles comptables américaines standard, sans les chiffres « ajustés » que les entreprises aiment présenter à part. Il couvre 149 rapports trimestriels de 86 grandes entreprises américaines réparties dans huit secteurs. Les annonces s'échelonnent du 2 décembre 2025 au 24 juin 2026.

Six modèles de quatre développeurs ont été comparés au consensus des analystes à la même date. Résultat : trois modèles ne se distinguent pas des professionnels par la précision de la prévision ponctuelle, trois se trompent plus nettement. Les six se montrent par ailleurs trop sûrs d'eux.

Une prévision poste par poste, et non un chiffre unique

L'idée centrale tient à la construction de la tâche. Les tests précédents, comme FutureX et FinDeepForecast, demandent simplement d'annoncer l'EPS, et le chemin qui y mène reste enfoui dans le raisonnement du modèle. L'analyste procède autrement : d'abord le chiffre d'affaires, puis les charges, puis tout ce qui se trouve en dessous. EPSBench oblige l'agent à travailler de la même façon.

Pour chaque paire « entreprise — trimestre », les auteurs construisent à l'avance un schéma en trois parties :

• une base : les valeurs des postes du rapport pour le même trimestre un an plus tôt ;
• des moteurs : le rythme de croissance du chiffre d'affaires, la variation de la part du coût des ventes, la hausse des charges d'exploitation, l'impôt, le nombre d'actions ;
• un graphe d'identités comptables, qui assemble ces postes en EPS final.

Pour Microsoft, au troisième trimestre de l'exercice 2026, les moteurs sont les suivants : la croissance du chiffre d'affaires des produits et des services, le déplacement de la part du coût des ventes, la hausse des charges d'exploitation, les autres charges, l'impôt et le nombre d'actions. Plusieurs modèles ont construit les schémas à tour de rôle. La vérification est simple : sur les données d'il y a un an, le graphe reproduit l'EPS réel à un cent près pour 146 schémas sur 149, et à quatre cents près pour les trois autres.

L'agent estime chaque moteur, indique le document sur lequel il s'appuie et envoie les valeurs à un calculateur commun. Celui-ci renvoie le compte de résultat et l'EPS final. L'agent donne aussi des bornes p10 et p90, c'est-à-dire un intervalle dans lequel, selon lui, le résultat réel tombera avec une probabilité de 80 %. L'arithmétique est assurée par le calculateur : toute erreur peut donc être retracée jusqu'à un poste précis et une référence précise.

Un bac à sable fermé et une protection contre les fuites

L'agent évolue dans un environnement figé. Trois types de sources lui sont accessibles, via six outils sur un serveur MCP :

• les rapports 10-K et 10-Q du site SEC EDGAR ;
• les transcriptions de conférences téléphoniques de Seeking Alpha, où la direction donne en général ses prévisions ;
• les actualités de CC-News.

Tout est tronqué la veille de la publication des résultats. Le serveur bloque le rapport et la conférence du trimestre cible. Les actualités à la date tardive ou inconnue sont écartées. Le shell, les fichiers et l'accès à internet sont désactivés dans le harnais de l'agent. Chaque configuration a été lancée trois fois par tâche, soit 447 exécutions par modèle.

La précision se mesure par l'écart rapporté au prix : la valeur absolue de la différence entre la prévision et le chiffre réel, divisée par le cours de l'action. Cela évite les problèmes d'erreurs en pourcentage lorsque l'EPS est proche de zéro. Les intervalles sont évalués par leur taux de couverture, leur largeur et une métrique d'intervalle qui ne peut pas être améliorée si l'on n'annonce pas honnêtement les bornes. Il y a trois références : l'EPS d'il y a un an, l'EPS du trimestre précédent et le consensus des analystes issu de la base IBES.

Où les modèles se trompent, et que faire

Les résultats sont les suivants :

• trois modèles ne se distinguent pas statistiquement du consensus pour l'erreur de prévision ponctuelle, trois font moins bien ;
• les intervalles nominaux à 80 % n'ont couvert l'EPS réel que dans 37 à 70 % des exécutions, parmi celles où un intervalle a bien été renvoyé ;
• la plupart des écarts se situent au-dessus de la borne haute : les prévisions sont sous-estimées. Le consensus des analystes pèche d'ailleurs lui aussi par ce biais ;
• l'écart entre le trio de tête et le trio de queue se creuse sur les trimestres où le bénéfice s'éloigne fortement du niveau d'il y a un an. Les meilleurs modèles déplacent plus souvent leur estimation assez loin et dans la bonne direction ;
• presque toute la différence se trouve dans les postes d'exploitation, c'est-à-dire dans l'estimation du résultat d'exploitation.

Un détail concerne GLM 4.5 Air, dont la fenêtre est de 128 mille tokens. Dans 49 de ses 447 exécutions, le harnais a compressé le contexte pour que tout tienne. Ces exécutions ont été évaluées telles quelles, et ce sont elles qui constituent tous ses intervalles manquants.

Les conclusions annexes sont également utiles. Les actualités et les rapports apportent des informations en partie différentes. Changer de harnais ou de profondeur de raisonnement modifie davantage la couverture des intervalles que la précision du chiffre lui-même.

La leçon pratique pour ceux qui construisent des agents financiers : il faut tirer du modèle la structure des hypothèses, et non un seul nombre. On voit alors à quelle étape l'erreur est entrée dans la prévision. Il ne faut pas se fier aux intervalles annoncés sans calibration. Quand un agent affirme « 80 % », le chiffre réel peut être deux fois plus faible. Les auteurs publient les schémas, les outils, les prompts, les enregistrements des prévisions, les évaluations et les trajectoires des agents : les comparaisons sont donc reproductibles.