Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieArticle R&D · Pour R&DHabr AI→ original

MWS AI et SberAI proposent DRAGOn, un benchmark dynamique pour évaluer les systèmes RAG

MWS AI, SberAI et des partenaires académiques ont présenté DRAGOn, un benchmark pour systèmes RAG fondé sur un corpus régulièrement mis à jour. Plutôt qu'un jeu de questions statique, il extrait automatiquement de nouveaux faits à partir d'articles de presse, génère des paires question-réponse et écarte les requêtes trop simples, auxquelles un modèle peut répondre de mémoire. Les auteurs ont aussi lancé un classement public pour comparer retrievers et générateurs.

Traité par IA depuis Habr AI ; édité par Hamidun News
MWS AI et SberAI proposent DRAGOn, un benchmark dynamique pour évaluer les systèmes RAG
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Simplequestion portant sur un seul fait
Seténumération de plusieurs objets liés par une relation commune
Multi-hopquestion passant par une entité intermédiaire

Des chercheurs de MWS AI, de SberAI et de plusieurs universités ont présenté DRAGOn, un benchmark dynamique pour évaluer les systèmes RAG qui s'appuient sur un corpus régulièrement mis à jour. Le travail a été publié sur arXiv en juillet 2025, puis intégré en mars 2026 aux actes d'EACL 2026 comme moyen pratique de tester les RAG sur des données réellement nouvelles, et non sur un jeu de questions figé de longue date.

Pourquoi c'est difficile

L'évaluation des RAG se heurte presque toujours au même obstacle : les tests vieillissent plus vite que les systèmes eux-mêmes. Si un benchmark repose sur un corpus fixe, un modèle peut obtenir un bon score non parce qu'il recherche et relie bien les documents, mais parce qu'il a déjà vu une partie des faits pendant l'entraînement. S'ajoute une autre difficulté : dans la qualité finale, il est difficile de distinguer l'apport du retriever de celui du générateur. Et préparer à la main des paires question-réponse pour une mise à jour permanente est trop coûteux, trop lent et ne passe presque pas à l'échelle pour les équipes qui veulent comparer régulièrement de nouvelles versions de leurs pipelines.

Comment fonctionne DRAGOn

Les auteurs proposent de construire le benchmark comme une chaîne de traitement. Des parseurs récupèrent régulièrement des contenus issus de sources d'actualité, puis un module distinct extrait des textes des faits atomiques sous forme de triplets « sujet — relation — objet ». Le système confronte ensuite les entités à Wikidata et écarte les faits déjà connus, afin que l'échantillon ne contienne que des connaissances nouvelles. À partir du graphe obtenu, des questions de difficulté variable sont générées automatiquement, et le benchmark peut être republié régulièrement sans reconstruction manuelle, avec un suivi de versions clair.

  • Simple : question portant sur un seul fait
  • Set : énumération de plusieurs objets liés par une relation commune
  • Multi-hop : question passant par une entité intermédiaire
  • Conditional : réponse devant satisfaire deux conditions à la fois

Les auteurs y ont ajouté un classement public et une séparation entre évaluation publique et privée. La partie publique permet de comparer les résultats ouvertement ; la partie privée, de les confronter précisément à la référence et d'éviter l'ajustement aux réponses connues. Ce format rend la comparaison des configurations RAG plus équitable : une équipe peut tester un nouveau retriever, une autre un nouveau générateur, et toutes deux obtiennent des résultats comparables sur un corpus récent, et non sur un jeu que le modèle a pu déjà apprendre.

Comment se déroule la vérification

Pour que les paires question-réponse générées automatiquement ne deviennent pas du bruit, DRAGOn les fait passer par plusieurs filtres. La correction linguistique de base est d'abord vérifiée avec RuRoBERTa-large, puis les questions subissent un contrôle NER via Natasha. Les exemples trop faciles sont ensuite retirés : si de petits modèles comme Qwen 2.5 7B ou LLaMa 3 8B répondent sans s'appuyer sur le contexte, la question ne convient pas à une évaluation équitable des RAG et est exclue de la version finale.

Le contrôle qualité final est assuré par POLLUX 7B en mode LLM-as-a-Judge. Le modèle évalue la grammaire, le naturel, la justesse et la dépendance de la question au contexte, puis ces notes sont comparées à l'annotation humaine. Dans une expérience portant sur 532 exemples, le juge automatique a affiché une grande précision, tout en se montrant plutôt sévère.

Après filtrage, les auteurs conservent 150 questions de qualité par catégorie, puis évaluent les systèmes séparément sur la recherche et sur la génération. Lors des tests, les combinaisons avec Qwen 3 Embedding 8B et E5 Mistral 7B Instruct se sont montrées les plus performantes. La leçon est simple : si le retriever trouve le bon contexte, le générateur a nettement plus de facilité à fournir une réponse précise.

Ce que cela change

DRAGOn tente de faire passer l'évaluation des RAG d'une démonstration ponctuelle à un processus continuellement mis à jour. Pour les équipes qui développent une recherche sur des documents, des actualités ou des bases de connaissances internes, l'approche est utile car elle réduit le risque de fausse confiance : un système peut répondre avec aisance sur des données familières et échouer sur des faits réellement nouveaux. Un benchmark dynamique aide à repérer cet écart plus tôt et donne une image plus honnête de la capacité d'un RAG à fonctionner en conditions réelles.

Dossier

Questions clés sur cet article

Pourquoi c'est difficile?

L'évaluation des RAG se heurte presque toujours au même obstacle : les tests vieillissent plus vite que les systèmes eux-mêmes. Si un benchmark repose sur un corpus fixe, un modèle peut obtenir un bon score non parce qu'il recherche et relie bien les documents, mais parce qu'il a déjà vu une partie des faits pendant l'entraînement. S'ajoute une autre difficulté : dans la qualité finale, il est difficile de distinguer l'apport du retriever de celui du générateur.

Comment fonctionne DRAGOn?

Les auteurs proposent de construire le benchmark comme une chaîne de traitement. Des parseurs récupèrent régulièrement des contenus issus de sources d'actualité, puis un module distinct extrait des textes des faits atomiques sous forme de triplets « sujet — relation — objet ». Le système confronte ensuite les entités à Wikidata et écarte les faits déjà connus, afin que l'échantillon ne contienne que des connaissances nouvelles.

Comment se déroule la vérification?

Pour que les paires question-réponse générées automatiquement ne deviennent pas du bruit, DRAGOn les fait passer par plusieurs filtres. La correction linguistique de base est d'abord vérifiée avec RuRoBERTa-large, puis les questions subissent un contrôle NER via Natasha. Les exemples trop faciles sont ensuite retirés : si de petits modèles comme Qwen 2.5 7B ou LLaMa 3 8B répondent sans s'appuyer sur le contexte, la question ne convient pas à une évaluation équitable des RAG et est exclue de la version finale.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…