Le benchmark DRAGOn de MWS AI et Sber teste le RAG sur des actualités fraîches : 150 questions par catégorie
Le RAG consiste à faire chercher au modèle des données dans votre base avant de répondre, et il est difficile de l'évaluer honnêtement : le modèle a pu voir les anciens tests pendant son entraînement. DRAGOn, développé par MWS AI et Sber, prend des actualités récentes, extrait les faits et écarte ceux qui figurent déjà dans Wikidata. Les faits restants servent à créer des questions de quatre types, avec 150 meilleures questions par catégorie. Pour comparer des systèmes RAG, il vaut donc mieux se baser sur ce que le modèle ne connaissait pas.
Traité par IA depuis Habr: MTS AI ; édité par Hamidun News
Aujourd'hui, un système RAG peut être monté en une soirée : on connecte une base vectorielle, on prend un modèle d'embeddings et on ajoute un LLM. RAG (Retrieval-Augmented Generation) signifie que, avant de répondre, le modèle cherche d'abord les documents pertinents dans la base connectée et les ajoute à la requête. Il est bien plus difficile de savoir si tout cela fonctionne réellement.
C'est le problème que traite l'article DRAGOn : Designing RAG On Periodically Updated Corpus. Ses auteurs, issus de MWS AI, de Sber et de plusieurs universités, ont présenté ce travail à l'EACL 2026. DRAGOn est un benchmark, c'est-à-dire un ensemble de questions de test, qui se constitue automatiquement à partir d'actualités récentes.
Après tous les filtres, il reste 150 questions par catégorie. L'idée est de tester la recherche, et non la mémoire du modèle.
Pourquoi les benchmarks classiques trompent sur le RAG
La plupart des tests pour le RAG présentent des faiblesses communes. Le corpus de documents est figé et finit par ne plus refléter le monde réel. Les questions et les réponses sont le plus souvent annotées à la main, ce qui est long et coûteux. Par ailleurs, il est difficile d'identifier le composant du système qui a réellement influé sur le résultat.
Mais le problème le plus gênant est ailleurs : on ne sait pas à quoi tient un bon résultat. Il se peut que la recherche ait effectivement trouvé le bon paragraphe. Mais il se peut aussi que le modèle de base ait simplement mémorisé ces faits pendant l'entraînement et répondu de tête. Imaginez que vous testiez un service d'assistance censé lire votre base de connaissances, alors qu'il répond de mémoire. Le test affichera « excellent », alors que la recherche pourrait ne pas fonctionner du tout.
Les auteurs résument le problème en une formule : l'échantillon de test n'est pas indépendant des données d'entraînement. Leur solution est directe : construire le benchmark à partir de connaissances que le modèle n'a manifestement pas vues. Pour cela, il faut trois éléments : un corpus de documents mis à jour régulièrement, une génération automatique de paires « question — réponse » et un système d'évaluation public et unique.
Comment DRAGOn crée des questions à partir d'actualités
Le pipeline est séquentiel, et chaque étape peut être reproduite.
D'abord, des parseurs récupèrent les textes depuis des sources externes. Dans l'article, il s'agit d'agrégateurs d'actualités, mais l'approche n'est pas limitée aux actualités. Ensuite, Llama 3.3 70B Instruct extrait des textes des faits sous forme de triplets « sujet — relation — objet », par exemple « entreprise X — a acquis — start-up Y ».
Vient ensuite l'opération la plus importante pour la pureté du test. Chaque fait est vérifié via l'API de Wikidata. S'il s'y trouve déjà, il est écarté, car le modèle pourrait parfaitement le connaître. Après cela, le même Llama normalise les noms d'entités et de relations, et seuls les faits nouveaux entrent dans le graphe.
À partir du graphe, on construit des questions de quatre types :
- à un seul fait : « Qui dirige SpaceX ? » ;
- à liste de réponses : « Pour quels films Hans Zimmer a-t-il composé la musique ? » ;
- à chaîne de faits, où l'entité intermédiaire est masquée dans la question : « Dans quel pays se trouve l'entreprise qui a vendu 2139 voitures en 2023 ? » ;
- à intersection de conditions, où la réponse est une entité commune : « Qui s'est produit au M-bar et a rencontré Dmitri Dibrov ? »
Ensuite vient un nettoyage à plusieurs étapes. Un modèle écarte les erreurs grammaticales et les formulations peu naturelles. Une bibliothèque NER vérifie les entités nommées. De petits modèles tentent de répondre sans contexte, et si y parviennent, la question est supprimée : elle est trop facile et ne nécessite pas de recherche. L'évaluation principale est confiée à POLLUX 7B, jouant le rôle de juge LLM : de 0 à 2 points pour la qualité de la langue, le caractère naturel, la justesse et la dépendance au contexte. Le jeu final retient 150 questions par catégorie.
Les auteurs ont confronté leur juge à des annotateurs humains. POLLUX 7B affiche une précision élevée, mais un rappel modéré : il sélectionne de manière fiable les bonnes questions, mais rejette parfois des questions correctes. Pour un benchmark, c'est acceptable : il vaut mieux disposer de moins de questions, mais d'une qualité vérifiée.
Résultats des tests et limites
La recherche et la génération ont été évaluées séparément. Pour la recherche, on a mesuré la fréquence à laquelle le document correct apparaît dans les N premiers résultats et sa position (métrique MRR). Les meilleurs résultats ont été obtenus avec les combinaisons Qwen3 Embedding 8B et E5 Mistral 7B Instruct. Pour la génération, on a utilisé ROUGE-2 et ROUGE-L, qui mesurent la correspondance de mots et de groupes de mots avec la réponse de référence. L'accent principal a été mis sur l'évaluation par POLLUX 7B : la réponse est-elle exacte, complète et fondée sur le contexte trouvé ?
Le constat est simple : on obtient la réponse que permet le contexte fourni. Les systèmes dotés d'une recherche performante ont aussi donné les meilleures réponses. En pratique, cela signifie que, pour déboguer un RAG, il faut d'abord vérifier le retriever et les embeddings, plutôt que changer le modèle de génération.
Les auteurs ont également mis en ligne un leaderboard public. Les résultats sont soumis via une bibliothèque dédiée. Une partie des données reste cachée afin de garantir une comparaison équitable.
Le travail présente toutefois des limites. Pour l'instant, le benchmark ne couvre que les actualités en russe, et le flux d'actualités diffère des textes médicaux, juridiques ou scientifiques. L'architecture permet de transposer l'approche à d'autres domaines, mais aucune version prête à l'emploi n'existe pour eux. Par ailleurs, le juge LLM accélère le travail sans remplacer l'expert : il reste trop prudent.
Conclusion pratique pour les équipes qui développent du RAG en russe. Si vous disposez d'un flux propre de documents mis à jour (support, base de connaissances, actualités sectorielles), ce schéma peut être reproduit : extraire les faits, écarter ceux que le modèle connaît déjà et ne constituer des questions que sur le nouveau. Ainsi, le test mesure le travail de la recherche, et non la mémoire du modèle.
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
- 21 nov. 2026Unsloth met à jour ses versions compressées de Qwen3.8-27B : précision en hausse de 5 à 10 % à taille égale
- 21 nov. 2026Apple développe un agent IA pour Mac et complique l'accès aux applications tierces : 14 clics au lieu de 4
Questions clés sur cet article
Pourquoi les benchmarks classiques trompent sur le RAG?
La plupart des tests pour le RAG présentent des faiblesses communes. Le corpus de documents est figé et finit par ne plus refléter le monde réel. Les questions et les réponses sont le plus souvent annotées à la main, ce qui est long et coûteux. Par ailleurs, il est difficile d'identifier le composant du système qui a réellement influé sur le résultat. Mais le problème le plus gênant est ailleurs : on ne sait pas à quoi tient un bon résultat. Il se peut que la recherche ait effectivement trouvé le bon paragraphe.
Comment DRAGOn crée des questions à partir d'actualités?
Le pipeline est séquentiel, et chaque étape peut être reproduite. D'abord, des parseurs récupèrent les textes depuis des sources externes. Dans l'article, il s'agit d'agrégateurs d'actualités, mais l'approche n'est pas limitée aux actualités. Ensuite, Llama 3.3 70B Instruct extrait des textes des faits sous forme de triplets « sujet — relation — objet », par exemple « entreprise X — a acquis — start-up Y ». Vient ensuite l'opération la plus importante pour la pureté du test.
Que sait-on sur Résultats des tests et limites ?
La recherche et la génération ont été évaluées séparément. Pour la recherche, on a mesuré la fréquence à laquelle le document correct apparaît dans les N premiers résultats et sa position (métrique MRR). Les meilleurs résultats ont été obtenus avec les combinaisons Qwen3 Embedding 8B et E5 Mistral 7B Instruct. Pour la génération, on a utilisé ROUGE-2 et ROUGE-L, qui mesurent la correspondance de mots et de groupes de mots avec la réponse de référence.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.