FinMMEval 2026 Task 2 : un benchmark de QA financier en 5 langues, le top 4 des systèmes se tient en moins de 1 %

FinMMEval 2026 Task 2, compétition de questions-réponses financières courtes sur des données multilingues, a rendu ses résultats : en juillet 2026, les organisateurs ont publié le classement final de 12 systèmes, où moins d'un point de pourcentage sépare les quatre premiers sur la métrique ROUGE-1 F1, évaluée sur un jeu de 256 questions.

Ce que mesure le benchmark

FinMMEval 2026 Task 2 évalue la précision avec laquelle les systèmes d'AI répondent à des questions financières en s'appuyant sur des documents rédigés dans cinq langues. Chaque élément du test associe une question en anglais à des rapports financiers et à des articles de presse en anglais, chinois, japonais, espagnol et grec. Le système doit renvoyer une seule réponse courte, au format JSONL.

• Le jeu final compte 256 questions, réparties à parts égales entre les niveaux easy et expert
• Chaque niveau repose sur 4 modèles de questions, déployés sur 32 groupes de rapports d'entreprise
• Langues des données sources : anglais, chinois, japonais, espagnol, grec
• Métrique de classement : macro-averaged ROUGE-1 F1 calculé pour chaque élément
• Le classement final comprend 12 systèmes

Comment les systèmes ont été évalués

Les organisateurs ont gardé secrètes les réponses de référence pendant la période de dépôt des candidatures. Ils ont classé les participants selon le macro-averaged item-level ROUGE-1 F1, calculé par rapport à leurs propres réponses de référence. L'écart au sommet est minime : moins d'un point de pourcentage de ROUGE-1 F1 sépare les 4 premiers systèmes. Autrement dit, les leaders sont pratiquement à égalité, et le choix d'architecture se joue, à ce niveau, à quelques fractions de point.

«

Les systèmes les plus performants sont très resserrés : moins d'un point de pourcentage de ROUGE-1 F1 sépare le top 4 », indique le rapport des organisateurs de FinMMEval 2026, publié sur arXiv.

Ce qu'ont utilisé les participants

Les équipes ont construit leurs solutions autour du traitement de sources multilingues, et non autour d'un modèle unique. D'après les articles décrivant les systèmes, publiés avec les résultats, les participants ont documenté le recours à la retrieval-augmented generation (RAG), au traitement de preuves dans plusieurs langues, au prompting structuré, à la compression des réponses et à des stratégies de validation. C'est précisément la combinaison de 32 groupes de rapports d'entreprise et de quatre modèles de questions par niveau qui obligeait les systèmes à extraire un fait d'un document en chinois ou en grec, puis à le formuler en anglais de façon courte et exacte.

Pourquoi c'est important pour l'IA financière

FinMMEval 2026 Task 2 montre où se situe aujourd'hui la frontière des modèles de langage en finance : non pas dans la génération de texte, mais dans l'extraction précise d'un fait à partir d'un rapport rédigé dans une langue peu familière. Le classement très resserré, avec un top 4 à moins de 1 %, indique que le financial QA multilingue cesse d'être l'affaire d'un seul modèle performant pour devenir un travail d'ingénierie de pipeline : recherche, mise en correspondance entre langues, compression. Pour les banques et les fonds qui traitent des rapports dans plusieurs langues, c'est le repère de qualité le plus proche.

Ce que cela signifie

Le benchmark atteste de la maturité des questions-réponses financières multilingues : les leaders sont déjà presque indiscernables sur la métrique, et les progrès à venir se mesureront en fractions de point et en qualité de traitement des sources, plutôt qu'en sauts d'un seul modèle.

Questions fréquentes

Qu'est-ce que FinMMEval 2026 Task 2 ?

C'est un benchmark compétitif de questions-réponses financières courtes : le système reçoit une question en anglais et un ensemble de rapports financiers et d'articles de presse en cinq langues, puis renvoie une seule réponse concise. Le jeu final compte 256 questions.

Dans quelles langues sont les données ?

Les questions sont formulées en anglais, tandis que les documents financiers et les articles qui les accompagnent sont en anglais, chinois, japonais, espagnol et grec. La tâche du système consiste à extraire un fait de sources multilingues et à fournir une réponse précise.

Comment les systèmes ont-ils été évalués et classés ?

Les réponses de référence sont restées secrètes pendant le dépôt des candidatures, et le classement final de 12 systèmes repose sur le macro-averaged item-level ROUGE-1 F1. Moins d'un point de pourcentage sépare les 4 premiers participants sur cette métrique.