FINESSE-Bench : évaluer les LLM en finance sans se leurrer

Le laboratoire d'intelligence artificielle de Finam a publié une version mise à jour de FINESSE-Bench, son benchmark ouvert pour évaluer la capacité des LLM à travailler dans le domaine financier. Il ne s'agit pas d'une simple extension de la version précédente : la méthodologie a été remaniée et la couverture des tâches financières élargie.

Pourquoi il faut un benchmark financier dédié

Le problème de fond : les LLM qui affichent d'excellents résultats sur les benchmarks ouverts populaires (MMLU, ARC, HellaSwag) sont souvent incapables de résoudre de vraies tâches financières. En pratique, Finam constate un écart systématique entre la précision générale et la précision sur les scénarios financiers.

En finance, il faut prédire correctement les risques, comprendre les paires de devises, interpréter des rapports financiers et analyser des graphiques de prix. Une erreur dans le domaine financier peut coûter des millions.

C'est pourquoi FINESSE-Bench ne se contente pas de tester les connaissances : il évalue le comportement du modèle face à :

• La hausse de la complexité des tâches
• Le transfert de qualité entre types de tâches financières
• Des scénarios spécialisés (trading, gestion des risques, analytique)

Ce qui change dans la nouvelle version

Beaucoup de choses ont changé depuis la première version de FINESSE-Bench :

• Jeux de données élargis : de nouveaux tests d'analyse technique ont été ajoutés (CFTe-like Level 1)
• CFA-like mis à jour : les questions problématiques du bloc d'examens financiers ont été corrigées
• Panel de modèles étendu : les tests couvrent davantage de LLM
• Métriques améliorées : une estimation bootstrap a été ajoutée pour réduire la variance des résultats
• Analyse de transfert : elle vérifie dans quelle mesure la qualité se transfère d'un type de tâche financière à l'autre
• Analyse de saturation : elle évalue le pouvoir discriminant des jeux de questions eux-mêmes

Pourquoi c'est important pour l'IA financière

Les fintechs expérimentent en permanence avec les LLM pour :

• Analyser les actualités financières et leur effet sur les prix
• Constituer automatiquement des portefeuilles
• Vérifier la conformité aux exigences réglementaires (compliance)
• Générer des recommandations d'investissement
• Alimenter des algorithmes de trading qui réagissent au texte

Un benchmark bien calibré évite des erreurs coûteuses, lorsqu'un modèle paraît brillant mais perd du capital en pratique.

Ce que cela signifie

L'essor des benchmarks spécifiques à un domaine (financiers, médicaux, juridiques) témoigne de la maturité de l'industrie de l'IA. On ne peut plus évaluer les LLM avec les seuls tests généralistes. Chaque secteur a besoin de sa propre règle graduée. FINESSE-Bench illustre la façon dont les entreprises qui déploient de l'IA sont contraintes de concevoir leurs propres points de contrôle pour s'assurer que le modèle peut réellement travailler dans leur domaine, et pas seulement afficher un score élevé sur un benchmark trouvé sur internet.