RAGAS et métriques RAG : cessez de deviner, mesurez la qualité

Les systèmes RAG gagnent en popularité, mais ils donnent souvent de mauvaises réponses, ajoutent des faits inventés ou ignorent le contexte pertinent. Dans ce troisième volet de notre série sur l'ingénierie de la qualité, nous voyons comment mesurer un RAG au lieu de lire dans le marc de café, et comment utiliser RAGAS, un framework qui remplace la vérification manuelle par l'automatisation.

Pourquoi les métriques RAG sont plus complexes que celles d'un LLM

Un LLM classique s'évalue sur des benchmarks standard : MMLU, HumanEval, TruthfulQA. Le RAG ajoute une couche de récupération du contexte, ce qui crée de nouveaux points de défaillance. La question « Quel était le salaire de Gates en 1997 ? » peut échouer de plusieurs façons :

• Le moteur de recherche n'a pas trouvé de document pertinent : la recherche a renvoyé du bruit
• Le modèle a trouvé le document, mais a ignoré le fait nécessaire : inattention
• Le modèle a trouvé le fait, mais y a ajouté une hallucination : mélange de source et d'invention
• Le contexte était pertinent, mais la réponse ne correspond pas à la question : erreur logique

Contrôler ces scénarios exige des métriques spécifiques. Vérifier chaque réponse à la main coûte cher et ne passe pas à l'échelle de milliers de requêtes.

RAGAS : quatre métriques pour tous les cas

RAGAS est un framework de Basis AI pour l'évaluation automatique des RAG. Voici son jeu de métriques de base :

• Faithfulness : la réponse générée est-elle fidèle au contexte ? Le modèle vérifie si le LLM a ajouté des faits absents des sources. Le score va de 0 à 1.
• Answer Relevance : la réponse correspond-elle à la question ? RAGAS génère une question inverse à partir de la réponse et les compare sur le plan sémantique.
• Context Precision : les fragments récupérés sont-ils pertinents ? Elle vérifie que le moteur de recherche ne s'est pas trompé de direction et n'a pas renvoyé du bruit.
• Context Recall : le contexte est-il complet ? Les documents contenaient-ils toute l'information nécessaire pour répondre pleinement à la question ?

Chaque métrique désigne un goulot d'étranglement : mauvaise recherche, mauvaise génération, ou les deux.

Comment RAGAS évalue en interne

Pas de magie ici : RAGAS utilise le LLM lui-même comme juge. Pour la Faithfulness, il prend la réponse générée et le contexte, demande au modèle d'extraire les affirmations vérifiables (factual claims), puis contrôle chacune à tour de rôle par rapport au contexte. Si un fait de la source étaye l'affirmation, le score augmente.

Pour l'Answer Relevance, il génère une question hypothétique à partir de la réponse (reverse), puis calcule la similarité cosinus (distance sémantique) avec la question d'origine. Plus la correspondance est élevée, plus la réponse est pertinente.

«

Si votre LLM sait mentir, il sait aussi détecter le mensonge », telle est la logique du framework.

L'ensemble du processus exige des appels au LLM (au moins 2-3 par réponse), si bien que RAGAS passe pour coûteux en tokens. Mais l'alternative consiste à embaucher des personnes pour l'annotation, ce qui coûte encore plus cher et prend plus de temps.

Ce que cela signifie

RAGAS rend l'ingénierie du RAG reproductible et traçable. Au lieu d'un « ça a l'air de marcher » qualitatif, on obtient des métriques quantitatives qui montrent l'effet de chaque mise à jour (nouveaux documents, nouveau modèle, nouveau prompt) sur la qualité.

Pour de petits projets personnels, RAGAS peut être excessif. Pour les solutions d'entreprise, où une erreur coûte de l'argent et la confiance des clients, c'est le tableau périodique qui manquait depuis longtemps aux ingénieurs RAG.