L'étiquette « aucun document de référence » perd en précision, de 0,68 à 0,10, avec les retrievers puissants

Les benchmarks de RAG conversationnel comme MTRAG et RETECO évaluent le système dans son ensemble : le modèle répond à partir des documents qu'il a lui-même retrouvés, et il doit refuser de répondre si la réponse n'y figure pas. Pour valider un refus, il faut savoir si le contexte retrouvé suffit. Annoter à la main les contextes de tous les systèmes est impossible.

En pratique, on recourt donc à un raccourci : si aucun des documents retrouvés n'est un document de référence (gold) issu de l'annotation de pertinence, le contexte est jugé insuffisant pour répondre. L'auteur d'un travail de reproduction, issu de l'école Letovo de Moscou, a testé cette règle sur RECOR (deuxième volet de RETECO). Il montre qu'elle cesse de fonctionner à mesure que le retriever, c'est-à-dire le module de recherche initiale des documents, s'améliore.

Sa précision tombe de 0,68 à 0,10, tandis que le nDCG@10 (métrique de qualité du classement dans le top 10 des résultats) passe de 0,18 à 0,59.

Comment la règle a été testée

RECOR se compose de dialogues : chacun développe une question issue de StackExchange ou de BRIGHT en 3 à 5 courtes répliques dépendantes du contexte. Chaque réplique dispose de documents de référence et d'une réponse de référence, générée par GPT-4.1 à partir de faits atomiques vérifiés. Les corpus de domaine contiennent de 16 000 à 121 000 documents, y compris des exemples négatifs collectés pour chaque question. L'auteur a retenu 858 répliques de la partie dev, issues de 211 dialogues.

Il a d'abord reproduit à l'identique les baselines BM25 officielles : les scores coïncident avec ceux publiés jusqu'à la quatrième décimale dans les 11 domaines (nDCG@10 moyens macro sur dev : 0,183 et 0,438). Il a ensuite construit une « échelle » de quatre retrievers : BM25 sur la réplique courante, BM25 avec l'historique du dialogue, Fusion (fusion de runs BM25 sur trois expansions de requête générées par LLM) et un hybride avec le retriever dense reason-embed-qwen3-4b. Leurs nDCG@10 sur dev sont de 0,183, 0,438, 0,550 et 0,591, et la part des répliques avec au moins un document de référence dans le top 5 est de 0,28, 0,65, 0,77 et 0,82.

Le contenu de chaque contexte a été évalué par deux LLM ouverts faisant office de juges, et par un panel de quatre petits modèles : Qwen3-4B-Instruct-2507, Phi-4-mini-instruct, SmolLM3-3B et Granite-3.3-8B-instruct. Par ailleurs, Claude Opus 5.5 a annoté à l'aveugle 250 contextes, sans connaître ni le retriever ni l'étiquette issue des qrels. Ses deux passes concordent dans 97% des cas, et une troisième passe a tranché les cas litigieux. Les réponses ont été produites par Qwen3-1.7B, Qwen3-4B-Instruct-2507 et Qwen3-8B.

Plus le retriever est fort, plus la règle se trompe

Parmi les contextes sans gold, la part de ceux qui contiennent pourtant la réponse passe de 28% à 72%. La précision de la règle, utilisée comme détecteur de contexte insuffisant, chute de 0,68 à 0,10, et de 0,70 à 0,21 selon l'audit à l'aveugle. La cause tient à l'annotation incomplète.

Le plus souvent, la réponse se trouve dans un négatif difficile collecté pour la même question, dans le document de référence d'une autre réplique, ou dans un fragment voisin de la page de référence. Dans un exemple sur les glucomètres, le document retrouvé explique que l'enzyme glucose oxydase est spécifique du seul D-glucose. Or les qrels le marquent comme négatif, alors que le véritable document gold contenant ce même passage n'a pas été renvoyé par la recherche.

Des vérifications indépendantes confirment ces résultats : décompte des copies de documents gold sans recours aux juges, audit à l'aveugle, contrôle négatif, évaluations humaines sur MTRAG et réponses du modèle lui-même. Qwen3-4B répond correctement à 62–67% de ces faux échecs, à 23–30% des contextes que les juges ont estimés insuffisants, et à 1% des répliques sans documents. Les quatre petits juges reproduisent la baisse, mais notent plus indulgemment que les gros.

Ce que cela change pour l'évaluation des refus

Le choix de l'étiquette peut renverser les conclusions. Lorsque l'évaluation repose sur la présence de gold, l'AUROC de la détection de répondabilité est sous-estimé et peut descendre jusqu'à 0,19, et le meilleur détecteur de suffisance semble être le score du retriever, qui ne lit pourtant pas du tout les documents. Sur MTRAG, où l'annotation a été faite par des annotateurs et où il n'y a pas de négatifs collectés, la précision de la règle recule de 0,72 à 0,50. L'effet n'est donc pas limité à RECOR.

Il y a aussi des réserves. Les expansions de requête pour Fusion et l'hybride ont été générées par un modèle fermé, Claude Sonnet 5. Lors d'une reconstruction avec un modèle ouvert, les passages Query2doc avec BM25 donnent 0,453 au lieu de 0,546. L'accord de 97% entre les deux passes de l'auditeur reflète l'auto-cohérence d'un seul modèle, et non l'accord d'annotateurs indépendants.

La recommandation pratique de l'auteur : pour comparer des retrievers de force différente, valider un refus d'après une étiquette de contenu pour chaque contexte, et non d'après la présence de gold. Sinon, un retriever puissant paraît moins bon, et un modèle qui refuse de répondre alors que la réponse figure dans les documents est tout de même crédité d'un refus valide. Le code, les runs et les étiquettes sont publiés dans le dépôt reteco-2026.