Ragas, DeepEval, RAGChecker, Opik: какие метрики RAG действительно работают

Le 12 juillet 2026, des chercheurs français ont publié sur arXiv une étude empirique sur les métriques pour les systèmes RAG (Retrieval-Augmented Generation). Les scientifiques ont comparé la performance de quatre bibliothèques populaires de métriques pour prédire la qualité évaluée par les humains sur des données réelles de systèmes métier.

Quelles métriques ont été testées

Les chercheurs ont sélectionné quatre bibliothèques de métriques RAG :

• Ragas — métriques basées sur l'évaluation par LLM et les métriques classiques d'IR
• DeepEval — axe sur la corrélation avec les évaluations humaines
• RAGChecker — orientée vers la vérification de l'exactitude du contexte
• Opik — outil de suivi et d'évaluation d'OpenAI

De plus, des métriques standard ont été utilisées : recall, precision, F1 et autres.

Les données de test ont été créées par les chercheurs eux-mêmes : des annotateurs humains ont étiqueté les questions et les réponses sur la base de documents commerciaux réels. Cela leur a permis d'éviter les données synthétiques et de tester les métriques dans un cadre naturel.

Qu'est-ce qui corrèle avec la qualité

Si une métrique prédit vraiment bien la qualité, ses scores devraient être corrélés avec les scores humains. Il s'avère que différentes métriques de la même bibliothèque (et surtout de différentes bibliothèques) ont donné des résultats significativement différents.

Certaines métriques corrélaient bien avec les évaluations humaines sur l'ensemble complet des données, mais prédisaient mal sur un sous-ensemble. D'autres ont montré des corrélations opposées : une métrique augmentait tandis que l'évaluation humaine diminuait.

«

Nous avons constaté que la simple agrégation de plusieurs métriques ne garantit pas un meilleur résultat », concluent les auteurs de l'étude.

Pourquoi les résultats doivent être clarifiés

Les chercheurs ont honnêtement noté les limitations de leur méthodologie : la taille de l'ensemble de données était relativement petite, les données provaient d'un seul domaine (documents commerciaux) et toutes les métriques des quatre bibliothèques n'ont pas été entièrement utilisées. La méthodologie d'évaluation elle-même dépendait du choix des annotateurs — différentes personnes donnent parfois des évaluations différentes pour la même réponse.

De plus, l'article note que certaines métriques fonctionnent mal dans les cas où la réponse est correcte mais reformulée, ou lorsque le contexte contient l'information nécessaire mais que la métrique ne le remarque pas.

Ce que cela signifie

Il n'existe pas de métrique RAG universelle qui fonctionne également bien pour tous les types de systèmes. Les développeurs d'applications RAG doivent choisir les métriques adaptées à leur tâche spécifique, et il est préférable de combiner plusieurs approches et de les tester régulièrement sur des données réelles avec annotation humaine.

Questions fréquemment posées

Quelle métrique dois-je choisir pour mon système RAG ?

Il n'y a pas de réponse définitive. Les auteurs recommandent de commencer par des métriques simples (recall, precision), puis d'ajouter l'une des quatre bibliothèques (par exemple, Ragas si la rapidité est nécessaire ; DeepEval si la corrélation avec les humains est importante) et de valider définitivement sur vos propres données.

Pourquoi les métriques de différentes bibliothèques donnent-elles des

résultats différents ?

Chaque bibliothèque utilise des formules différentes, des modèles LLM différents pour l'évaluation et des définitions différentes de la « qualité ». Ragas peut considérer l'alignement avec l'information originale comme important, tandis que RAGChecker valorise la correction de la logique dans la réponse. Sur certaines données cela s'aligne, sur d'autres non.