Rubric4Setwise: оценка наборов документов для RAG вместо ранжирования по релевантности

En juillet 2026, des chercheurs ont présenté SetwiseEvalKit — un benchmark pour évaluer la qualité d'un ensemble entier de documents dans la recherche destinée aux grands modèles de langage — ainsi qu'une méthode training-free (sans apprentissage) appelée Rubric4Setwise. Lors du test de 12 rerankers, même le meilleur d'entre eux n'a couvert que 45 % au maximum des critères d'évaluation.

Ce qui ne va pas avec l'évaluation par pertinence

Les systèmes d'évaluation de la recherche existants classent chaque document indépendamment et agrègent le résultat dans la métrique nDCG, en ignorant les liens entre les documents. Selon l'étude publiée sur arXiv, cette approche ne détecte ni la redondance (lorsque des documents se dupliquent), ni les conflits (lorsque les données se contredisent), ni la complémentarité — et ne peut donc pas répondre à la question centrale : pourquoi un ensemble de documents est-il meilleur qu'un autre.

C'est un point critique car les modèles de langage et les agents d'IA sont devenus les principaux consommateurs des résultats de recherche : la qualité de l'ensemble de documents fixe la limite supérieure de la qualité de la génération finale. Un mauvais ensemble donne une mauvaise réponse, quelle que soit la puissance du reranker.

Comment fonctionne SetwiseEvalKit

SetwiseEvalKit est un benchmark à trois niveaux et neuf dimensions qui évalue l'ensemble de documents dans sa globalité, et non document par document. Il couvre à la fois les scénarios de génération courts et longs, et contient environ 28000 critères d'évaluation de qualité (rubrics).

• Trois niveaux et neuf dimensions pour évaluer l'ensemble de documents
• Environ 28000 critères d'évaluation (rubrics)
• Couverture des scénarios short-form et long-form
• Des dimensions distinctes pour la coordination entre documents : redondance, conflit, complémentarité

Ce sont précisément ces dimensions « d'ensemble » qui bousculent la logique habituelle : un document peut être pertinent en soi tout en nuisant à l'ensemble — en dupliquant un document voisin ou en le contredisant.

Ce qu'a montré le test sur 12 rerankers

Aucun des 12 rerankers testés n'est venu à bout de la tâche : la meilleure méthode a atteint au maximum 45 % de couverture des critères, et les dimensions de coordination entre documents se sont révélées faibles pour tous, sans exception. Aucune méthode n'a maintenu son leadership à la fois sur les scénarios courts et longs — celle qui était forte dans un mode faiblissait dans l'autre.

«

Même la meilleure méthode n'atteint pas plus de 45 % de couverture, et les dimensions de coordination entre textes sont universellement faibles », indique l'article des chercheurs sur arXiv.

En quoi Rubric4Setwise aide

Rubric4Setwise est une méthode training-free (ne nécessitant pas d'apprentissage) qui transforme les critères de l'évaluation par rubrics en signaux pour la sélection de l'ensemble de documents. Selon l'étude, elle produit une meilleure génération finale avec moins de documents et moins de tours de recherche. C'est la seule méthode qui a conservé un résultat state-of-the-art dans les deux scénarios — court et long —, bouclant ainsi le cycle « évaluation → diagnostic → optimisation ».

Ce que cela signifie

À mesure que les LLM et les agents remplacent l'humain dans la lecture des résultats de recherche, ce qui compte n'est plus « le document le plus pertinent », mais la qualité de l'ensemble tout entier. SetwiseEvalKit montre que les rerankers actuels n'y sont pas préparés, et Rubric4Setwise indique une piste pour y remédier — sans réentraînement et avec une économie sur le nombre de sources.

Questions fréquentes

Qu'est-ce que Rubric4Setwise ?

Rubric4Setwise est une méthode training-free de sélection d'ensembles de documents pour la recherche destinée aux LLM. Elle convertit les critères de l'évaluation par rubrics en signaux de sélection et obtient une meilleure génération avec moins de documents et moins de tours de recherche.

En quoi l'évaluation d'un ensemble de documents diffère-t-elle du

classement habituel ?

Le classement habituel via nDCG évalue chaque document séparément et ne voit pas les liens entre eux. L'évaluation d'ensemble prend en compte la redondance, les conflits et la complémentarité entre documents — c'est-à-dire la qualité de la sélection dans son ensemble, plutôt que la somme des évaluations individuelles.