MWS AI et SberAI proposent DRAGOn, un benchmark dynamique pour évaluer les systèmes RAG
MWS AI, SberAI et des partenaires académiques ont présenté DRAGOn, un benchmark pour systèmes RAG fondé sur un corpus régulièrement mis à jour. Plutôt qu'un jeu de questions statique, il extrait automatiquement de nouveaux faits à partir d'articles de presse, génère des paires question-réponse et écarte les requêtes trop simples, auxquelles un modèle peut répondre de mémoire. Les auteurs ont aussi lancé un classement public pour comparer retrievers et générateurs.
Traité par IA depuis Habr AI ; édité par Hamidun News
Des chercheurs de MWS AI, de SberAI et de plusieurs universités ont présenté DRAGOn, un benchmark dynamique pour évaluer les systèmes RAG qui s'appuient sur un corpus régulièrement mis à jour. Le travail a été publié sur arXiv en juillet 2025, puis intégré en mars 2026 aux actes d'EACL 2026 comme moyen pratique de tester les RAG sur des données réellement nouvelles, et non sur un jeu de questions figé de longue date.
Pourquoi c'est difficile
L'évaluation des RAG se heurte presque toujours au même obstacle : les tests vieillissent plus vite que les systèmes eux-mêmes. Si un benchmark repose sur un corpus fixe, un modèle peut obtenir un bon score non parce qu'il recherche et relie bien les documents, mais parce qu'il a déjà vu une partie des faits pendant l'entraînement. S'ajoute une autre difficulté : dans la qualité finale, il est difficile de distinguer l'apport du retriever de celui du générateur. Et préparer à la main des paires question-réponse pour une mise à jour permanente est trop coûteux, trop lent et ne passe presque pas à l'échelle pour les équipes qui veulent comparer régulièrement de nouvelles versions de leurs pipelines.
Comment fonctionne DRAGOn
Les auteurs proposent de construire le benchmark comme une chaîne de traitement. Des parseurs récupèrent régulièrement des contenus issus de sources d'actualité, puis un module distinct extrait des textes des faits atomiques sous forme de triplets « sujet — relation — objet ». Le système confronte ensuite les entités à Wikidata et écarte les faits déjà connus, afin que l'échantillon ne contienne que des connaissances nouvelles. À partir du graphe obtenu, des questions de difficulté variable sont générées automatiquement, et le benchmark peut être republié régulièrement sans reconstruction manuelle, avec un suivi de versions clair.
- Simple : question portant sur un seul fait
- Set : énumération de plusieurs objets liés par une relation commune
- Multi-hop : question passant par une entité intermédiaire
- Conditional : réponse devant satisfaire deux conditions à la fois
Les auteurs y ont ajouté un classement public et une séparation entre évaluation publique et privée. La partie publique permet de comparer les résultats ouvertement ; la partie privée, de les confronter précisément à la référence et d'éviter l'ajustement aux réponses connues. Ce format rend la comparaison des configurations RAG plus équitable : une équipe peut tester un nouveau retriever, une autre un nouveau générateur, et toutes deux obtiennent des résultats comparables sur un corpus récent, et non sur un jeu que le modèle a pu déjà apprendre.
Comment se déroule la vérification
Pour que les paires question-réponse générées automatiquement ne deviennent pas du bruit, DRAGOn les fait passer par plusieurs filtres. La correction linguistique de base est d'abord vérifiée avec RuRoBERTa-large, puis les questions subissent un contrôle NER via Natasha. Les exemples trop faciles sont ensuite retirés : si de petits modèles comme Qwen 2.5 7B ou LLaMa 3 8B répondent sans s'appuyer sur le contexte, la question ne convient pas à une évaluation équitable des RAG et est exclue de la version finale.
Le contrôle qualité final est assuré par POLLUX 7B en mode LLM-as-a-Judge. Le modèle évalue la grammaire, le naturel, la justesse et la dépendance de la question au contexte, puis ces notes sont comparées à l'annotation humaine. Dans une expérience portant sur 532 exemples, le juge automatique a affiché une grande précision, tout en se montrant plutôt sévère.
Après filtrage, les auteurs conservent 150 questions de qualité par catégorie, puis évaluent les systèmes séparément sur la recherche et sur la génération. Lors des tests, les combinaisons avec Qwen 3 Embedding 8B et E5 Mistral 7B Instruct se sont montrées les plus performantes. La leçon est simple : si le retriever trouve le bon contexte, le générateur a nettement plus de facilité à fournir une réponse précise.
Ce que cela change
DRAGOn tente de faire passer l'évaluation des RAG d'une démonstration ponctuelle à un processus continuellement mis à jour. Pour les équipes qui développent une recherche sur des documents, des actualités ou des bases de connaissances internes, l'approche est utile car elle réduit le risque de fausse confiance : un système peut répondre avec aisance sur des données familières et échouer sur des faits réellement nouveaux. Un benchmark dynamique aide à repérer cet écart plus tôt et donne une image plus honnête de la capacité d'un RAG à fonctionner en conditions réelles.
- 12 nov. 2026Huit pays, OpenAI et Anthropic promettent un « interrupteur d'arrêt » pour les modèles d'IA, mais sans échéances ni sanctions
- 12 nov. 2026ElevenLabs Scribe v3 Live apprend aux agents vocaux à ne pas couper la parole : 25 % d'erreurs en moins
- 12 nov. 2026Prompt en russe dans ComfyUI : FLUX.2 et Qwen-Image perdent 4 à 13 points, et SD-Turbo presque tout
- 8 nov. 2026À Moscou, un protocole de consultation piloté par l’IA remplit 50 champs en 35 secondes, tandis que les cliniques privées restent silencieuses
Questions clés sur cet article
Pourquoi c'est difficile?
L'évaluation des RAG se heurte presque toujours au même obstacle : les tests vieillissent plus vite que les systèmes eux-mêmes. Si un benchmark repose sur un corpus fixe, un modèle peut obtenir un bon score non parce qu'il recherche et relie bien les documents, mais parce qu'il a déjà vu une partie des faits pendant l'entraînement. S'ajoute une autre difficulté : dans la qualité finale, il est difficile de distinguer l'apport du retriever de celui du générateur.
Comment fonctionne DRAGOn?
Les auteurs proposent de construire le benchmark comme une chaîne de traitement. Des parseurs récupèrent régulièrement des contenus issus de sources d'actualité, puis un module distinct extrait des textes des faits atomiques sous forme de triplets « sujet — relation — objet ». Le système confronte ensuite les entités à Wikidata et écarte les faits déjà connus, afin que l'échantillon ne contienne que des connaissances nouvelles.
Comment se déroule la vérification?
Pour que les paires question-réponse générées automatiquement ne deviennent pas du bruit, DRAGOn les fait passer par plusieurs filtres. La correction linguistique de base est d'abord vérifiée avec RuRoBERTa-large, puis les questions subissent un contrôle NER via Natasha. Les exemples trop faciles sont ensuite retirés : si de petits modèles comme Qwen 2.5 7B ou LLaMa 3 8B répondent sans s'appuyer sur le contexte, la question ne convient pas à une évaluation équitable des RAG et est exclue de la version finale.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.