MULTIFINGROUND : les LLM reconnaissent les concepts comptables à 99%, mais perdent des faits

Les modèles de langage comprennent presque sans erreur de quel poste du rapport financier il est question, mais butent dès qu'il faut rassembler tous les chiffres qui s'y rattachent. Les auteurs du benchmark MULTIFINGROUND ont soumis 15 modèles aux publications annuelles de 90 émetteurs pour l'exercice FY2025, en anglais, en français et en grec. Huit modèles de référence, accessibles par API ou en open-weight, reconnaissent le concept comptable avec une précision de 97,3 à 99,4%. Pourtant, dans 26,6 à 41,9% des groupes correctement reconnus, ils laissent échapper au moins un fait cible.

Comment fonctionne le benchmark

La comparaison de rapports financiers entre pays repose sur deux compétences. Il faut d'abord comprendre que des formulations différentes, dans des langues différentes, décrivent un même concept comptable. Il faut ensuite retrouver tous les chiffres qui expriment ce concept : dans les états principaux, dans les notes annexes, dans le texte explicatif. Les tests existants évaluent ces deux compétences séparément, et il est difficile d'en déduire si un modèle réussit les deux sur le même matériau.

MULTIFINGROUND comble cette lacune. Les rapports ont été rédigés indépendamment les uns des autres : ce ne sont pas des traductions mutuelles, et le modèle ne peut donc pas s'appuyer sur un texte parallèle. Les auteurs ont aligné les documents grâce à une taxonomie comptable commune et réalisé des annotations au niveau de chaque fait, traçables jusqu'à la source. Le benchmark évalue quatre tâches :

• l'identification d'un fait financier ;
• la reconnaissance du concept ;
• la sélection exhaustive de tous les faits se rapportant au concept ;
• la distinction des concepts sans candidats prédéfinis.

Ce que montrent les chiffres

Paramètres clés et résultats de l'étude :

• 90 émetteurs, rapports pour l'exercice FY2025 ;
• 3 langues : anglais, français, grec ;
• 15 modèles testés ;
• 97,3 à 99,4% de précision de reconnaissance du concept pour les huit modèles de référence ;
• 26,6 à 41,9% de groupes correctement reconnus avec au moins un fait omis.

Le titre de l'article, Recognition Is Not Grounding, résume fidèlement le résultat. La reconnaissance d'un concept relève pour l'essentiel de la classification : le modèle observe un contexte et choisit une étiquette. L'extraction exhaustive fonctionne autrement. Il faut parcourir tout le document, trancher pour chaque chiffre et ne rien laisser de côté. Un modèle peut comprendre sans erreur qu'il s'agit, par exemple, du chiffre d'affaires, et pourtant ne pas en recueillir toutes les occurrences dans le document. Les auteurs n'en expliquent pas les causes dans le résumé. Mais cet écart n'apparaît que parce que les deux compétences sont mesurées sur les mêmes données.

Deux autres constats ne sont pas moins importants. La qualité de la distinction des concepts sans candidats fournis varie fortement d'un modèle à l'autre : une formulation libre de la tâche élimine donc davantage de modèles que le choix dans une liste toute faite. Quant aux modèles spécialisés en finance de l'échantillon, ils ont apporté un gain limité. Le fine-tuning sur des textes sectoriels ne règle pas le problème de l'exhaustivité.

Ce qu'il faut vérifier dans votre pipeline

Si vous construisez une extraction de données à partir de rapports financiers, par exemple pour le screening d'émetteurs ou la comparaison d'entreprises de juridictions différentes, l'accuracy de classification des concepts est trompeuse. Un chiffre de 99% paraît convaincant, mais il ne dit pas combien de faits d'un groupe sont réellement arrivés dans le tableau final. La métrique doit être le recall au niveau des faits, et mieux encore la part des groupes dans lesquels tous les chiffres cibles ont été trouvés.

Il faut aussi tester sans liste de candidats : dans les cas réels, la taxonomie est rarement fournie toute prête au modèle. Il est utile de calculer les résultats séparément par langue, surtout si certaines sont moins bien dotées en ressources, comme le grec. Acheter un modèle financier spécialisé dans l'espoir d'une meilleure exhaustivité n'est pas justifié pour l'instant : d'après ces données, le gain est faible. Il est plus fiable de prévoir une seconde passe, un rapprochement automatisé des chiffres extraits avec la taxonomie lorsqu'elle existe, et une vérification manuelle pour les postes critiques. Un modèle qui nomme correctement le concept ne garantit pas que vous avez récupéré tous les chiffres sur lesquels il repose.