Rubric4Setwise : évaluer des ensembles de documents pour le RAG, plutôt que de les classer par pertinence

En juillet 2026, des chercheurs ont présenté SetwiseEvalKit, un benchmark qui évalue la qualité d'un ensemble de documents dans son ensemble pour la recherche destinée aux grands modèles de langage, ainsi que Rubric4Setwise, une méthode training-free. Sur 12 rerankers testés, même le meilleur ne couvre pas plus de 45 % des critères d'évaluation.

Ce qui cloche dans l'évaluation par la pertinence

Les systèmes actuels d'évaluation de la recherche classent chaque document indépendamment et agrègent le résultat dans la métrique nDCG, sans tenir compte des relations entre documents. Selon l'étude publiée sur arXiv, cette approche ne détecte ni la redondance (des documents qui se dupliquent), ni les conflits (des données qui se contredisent), ni la complémentarité. Elle ne peut donc pas répondre à la question centrale : pourquoi un ensemble de documents est-il meilleur qu'un autre ?

Le point est critique : les modèles de langage et les agents IA sont devenus les principaux consommateurs de résultats de recherche, et la qualité de l'ensemble de documents fixe le plafond de la qualité de la génération finale. Un mauvais ensemble donne une mauvaise réponse, aussi performant que soit le reranker.

Comment fonctionne SetwiseEvalKit

SetwiseEvalKit est un benchmark à trois niveaux et neuf dimensions, qui évalue un ensemble de documents dans sa globalité plutôt que document par document. Il couvre aussi bien les scénarios de génération courts que longs et contient environ 28 000 critères d'évaluation (rubrics) de haute qualité.

• Trois niveaux et neuf dimensions d'évaluation d'un ensemble de documents
• Environ 28 000 critères d'évaluation (rubrics)
• Couverture des scénarios short-form comme long-form
• Des dimensions dédiées à la coordination entre documents : redondance, conflit, complémentarité

Ces dimensions « d'ensemble » bousculent la logique habituelle : un document peut être pertinent en lui-même tout en nuisant à l'ensemble, en dupliquant son voisin ou en le contredisant.

Ce que montre le test de 12 rerankers

Aucun des 12 rerankers testés n'a réussi la tâche : le meilleur atteint au plus 45 % de couverture des critères, et les dimensions de coordination entre documents se révèlent faibles chez tous, sans exception. Aucune méthode n'a gardé la tête à la fois dans les scénarios courts et longs : celle qui excelle dans un mode décroche dans l'autre.

«

Même la meilleure méthode n'atteint pas plus de 45 % de couverture, et les dimensions de coordination inter-textes sont universellement faibles », indique l'article des chercheurs sur arXiv.

Ce qu'apporte Rubric4Setwise

Rubric4Setwise est une méthode training-free (sans entraînement) qui transforme les critères de l'évaluation par rubrics en signaux de sélection d'un ensemble de documents. D'après l'étude, elle produit une meilleure génération finale avec moins de documents et moins de tours de recherche. C'est la seule méthode qui conserve un résultat state-of-the-art dans les deux scénarios, court et long, en bouclant le cycle « évaluation → diagnostic → optimisation ».

Ce que cela change

À mesure que les LLM et les agents remplacent l'humain dans la lecture des résultats de recherche, ce n'est plus le « document le plus pertinent » qui compte, mais la qualité de l'ensemble. SetwiseEvalKit montre que les rerankers actuels n'y sont pas prêts, et Rubric4Setwise laisse entrevoir une piste pour y remédier, sans réentraînement et avec moins de sources.

Questions fréquentes

Qu'est-ce que Rubric4Setwise ?

Rubric4Setwise est une méthode training-free de sélection d'un ensemble de documents pour la recherche destinée aux LLM. Elle convertit les critères de l'évaluation par rubrics en signaux de sélection et obtient une meilleure génération avec moins de documents et de tours de recherche.

En quoi l'évaluation d'un ensemble de documents diffère-t-elle du

classement classique ?

Le classement classique via nDCG évalue chaque document séparément et ne voit pas les relations entre eux. L'évaluation d'ensemble prend en compte la redondance, les conflits et la complémentarité des documents, c'est-à-dire la qualité de la sélection dans son ensemble, et non la somme des scores individuels.