Des agents IA corrigent les prospectus d'IPO selon les remarques de la SEC : l'apprentissage apporte +3,7 points de pourcentage

Lorsqu'une entreprise prépare une IPO, elle dépose ses documents d'enregistrement auprès de la Securities and Exchange Commission (SEC), le régulateur américain des valeurs mobilières. Les agents de la commission les lisent et envoient leurs remarques, par exemple : « vous écrivez que le chiffre d'affaires a progressé de 40% grâce à la demande, précisez ce point ». Les juristes de l'entreprise rassemblent les faits, réécrivent la section et envoient leur réponse.

Plusieurs allers-retours se succèdent ainsi. Des chercheurs de l'Université technologique de Nanyang (Singapour) et de l'Université des sciences et technologies de Hong Kong (Guangzhou) ont testé si des agents IA fondés sur de grands modèles de langage pouvaient tenir les deux rôles. Pour cela, ils ont construit le benchmark FilingLoop : 380 tâches portant sur 96 entreprises, principalement des IPO.

La meilleure variante d'agent, celle qui apprend entre les tâches, a rempli 27,96% des exigences du régulateur. Le même agent sans apprentissage en a rempli 24,28%.

En quoi cette tâche diffère des questions financières habituelles

Les tests financiers existants, comme FinQA ou FinanceBench, donnent au modèle une question toute prête et lui demandent de trouver la réponse dans un rapport. Ici, il n'y a pas de question, et c'est la première difficulté. Le Reviewer doit lui-même repérer les passages du document qui posent problème. Deuxième difficulté : les chiffres nécessaires peuvent être absents des fichiers publics. Le Filer doit alors les demander à l'entreprise, et l'accès à ces faits est limité, dans le test, à ce qui existait réellement dans l'historique.

La troisième difficulté tient à la vérification. Un juriste peut écrire dans sa réponse « nous avons tout corrigé » alors que le document n'a pas bougé. L'évaluateur examine donc la version finale du document et la réponse écrite. Un commentaire de la SEC contient généralement plusieurs exigences, et la correction soignée d'un seul paragraphe ne règle pas les autres. Les auteurs ont décomposé les commentaires en exigences atomiques, ce qui donne 6 099 exigences au total. Un évaluateur distinct, qui ne participe pas au travail des agents, vérifie chacune d'elles. Il repère aussi les affirmations sans justification et les corrections qui dégradent une section jusque-là correcte.

Deux rôles et des instructions qui s'accumulent d'une tâche à l'autre

Chaque tâche reproduit un tour de vérification historique. Les agents voient le document à examiner et l'historique précédent. Les véritables commentaires de la SEC, les réponses réelles et les révisions ultérieures leur sont masqués.

• Le Reviewer reçoit les documents et doit formuler lui-même ce qui manque.
• Le Filer reçoit les remarques, collecte les faits dans la limite des données disponibles, corrige le document et rédige la réponse.
• Les deux variantes d'agent, fixe et apprenante, peuvent améliorer leur travail au fil d'une même tâche.

La différence tient à ce qui se passe après la tâche. Pour l'agent apprenant, l'évaluateur enregistre d'abord les scores. Ensuite, à partir des exigences non remplies, des instructions textuelles sont formulées pour chaque rôle. Par exemple, comment vérifier la ventilation du chiffre d'affaires ou quand il faut reporter une explication dans le document lui-même. Ces instructions ne s'appliquent qu'aux lots de tâches suivants et restent figées à l'intérieur d'un lot. Les poids du modèle ne changent pas : seul évolue l'ensemble des règles que l'agent lit avant de travailler. Les faits propres à une entreprise n'entrent pas dans les instructions, qui ne contiennent que des procédures transposables à d'autres cas.

L'évaluation porte sur la première tentative de chaque tâche, sans nouvel essai. Le gain ne s'explique donc pas par un agent qui repasserait simplement le même examen.

Les chiffres : un gain modeste, mais presque gratuit

Les auteurs ont comparé huit configurations sur l'ensemble des 380 tâches. Les meilleurs résultats reviennent à FilingLoop-Evolving, la version qui apprend entre les tâches.

• Exigences remplies : 24,28% → 27,96% (environ 3,7 points de pourcentage, soit +15% en relatif).
• Commentaires de la SEC entièrement clos : 16,90% → 20,75% (environ 3,9 points de pourcentage, soit +23% en relatif).
• Le coût total d'une exécution a augmenté de 5,8%.
• Le coût par exigence remplie a baissé, car le résultat est meilleur alors que les dépenses n'ont que faiblement augmenté.

Selon les auteurs, l'apprentissage a amélioré deux compétences : la recherche de lacunes et la correction conditionnelle, c'est-à-dire la modification du document uniquement dans certaines circonstances.

Ce qu'il faut en retenir

Pour les praticiens, le chiffre à retenir n'est pas 28%, mais le peu que savent faire ces agents sur cette tâche. Même la meilleure variante remplit à peine plus d'un quart des exigences du régulateur et ne clôt entièrement qu'un commentaire sur cinq environ. Un tel système ne peut pas encore remplacer juristes et analystes. Il peut servir de brouillon, qu'un humain doit impérativement revérifier.

Pour ceux qui conçoivent des agents destinés à des domaines réglementés, trois enseignements se dégagent. Premier point : il faut vérifier le document final, pas l'assurance du ton de la réponse. Deuxième point : l'évaluateur doit être distinct, faute de quoi l'agent se félicitera lui-même. Troisième point : accumuler des procédures sans réentraîner le modèle apporte un gain notable pour un coût réduit. Pour les entreprises qui ne peuvent pas affiner des modèles sur des données confidentielles, cette approche est plus simple et plus sûre. Une réserve : il s'agit du résultat d'un seul benchmark, construit sur des données historiques de la SEC, et les auteurs n'ont pas vérifié la transposition à d'autres régulateurs.