Conflit de connaissances dans le RAG : un prior plutôt qu'une règle rigide rapporte jusqu'à +26 points

Lorsqu'un système RAG sort de sa base un document qui contredit ce que le modèle sait déjà, quelqu'un doit décider à qui se fier. Dans l'article « Don't Pick a Winner », les chercheurs Minh Pham Van et son coauteur affirment que toute décision figée à l'avance dans l'architecture est vouée à l'échec. Leur système obtient 45,3 points sur le benchmark GRACE avec Qwen3.5-35B-A3B et 35,0 avec Llama-3.1-8B. La meilleure des méthodes existantes plafonne à 29,4 et 27,5. Quelle que soit la proportion de contextes fiables et non fiables, l'avantage atteint jusqu'à 26 points.

Pourquoi toute règle fixe perd

Le problème est simple. Un modèle augmenté par la recherche (retrieval-augmented) répond à partir de deux sources : le contexte récupéré et ses propres connaissances paramétriques. Quand le contexte est incomplet ou erroné, les deux divergent. Les approches existantes tranchent le conflit par une règle choisie dès la conception : suivre aveuglément le contexte, l'amplifier proportionnellement au décalage qu'il induit dans la distribution du modèle, ou faire confiance à la mémoire.

Les auteurs construisent un modèle de théorie de la décision à deux sources. Dans ce modèle, la qualité de toute règle fixe dépend linéairement de la part de contextes fiables dans le flux, tandis que la meilleure qualité atteignable est convexe. Toute règle fixe reste donc sous l'optimum partout, sauf en un unique point où elle coïncide par hasard avec la réalité. La règle « croire le contexte » fonctionne bien sur une base de connaissances propre et mal sur une base bruitée. La règle « croire la mémoire » fait l'inverse.

Un second argument vise le décodage adaptatif. Celui-ci mesure la divergence symétrique entre les distributions avec et sans contexte. Cette valeur est identique que le contexte ou la mémoire ait raison : elle n'indique donc pas lequel des deux a raison.

Deux entrées qu'aucune méthode n'exploite

La théorie implique qu'il faut deux entrées pour résoudre un conflit. La première : un indice sur chaque source, pris séparément. La seconde : un prior sur la fréquence à laquelle le contexte s'avère correct. Aucune méthode existante ne conserve ni l'un ni l'autre.

Pour le vérifier, les auteurs ont utilisé GRACE. Ce benchmark intervient sur le contexte issu d'un graphe de connaissances pour une question donnée. Il mesure ainsi séparément ce que sait le modèle, ce que dit le contexte et ce qui est vrai. Sur ce banc d'essai, chaque baseline issue des quatre familles est forte soit sur les contextes corrects, soit sur les contextes erronés, mais pas sur les deux à la fois.

La conception proposée par les auteurs comprend quatre maillons :

• le modèle formule ses connaissances sous forme de notes ;
• une petite politique exprime chaque note avec une confiance calibrée ;
• un lecteur répond « à deux voix », d'après le contexte et d'après les notes ;
• un sélecteur fixe la réponse ou s'abstient, en appliquant le prior π comme décalage exact du prior (exact prior shift).

Chiffres et limites d'application

Lorsque π est égal à la vraie part de contextes fiables, le système devance la meilleure baseline pour chaque mélange de contextes de GRACE, jusqu'à 26 points. Voici les principaux résultats :

• GRACE, Qwen3.5-35B-A3B : 45,3 contre 29,4 pour la meilleure baseline ;
• GRACE, Llama-3.1-8B : 35,0 contre 27,5 ;
• ClashEval (protocole préenregistré) : +12 points face à CK-PLUG et +26 face à TCR sur le même backbone ;
• là où le modèle ne possède pas la connaissance nécessaire, le gain disparaît.

Les auteurs présentent ce dernier point comme une confirmation de la théorie, et non comme une réserve. Si la mémoire paramétrique ne contient rien, un indice distinct sur cette source est inutile, et la méthode retombe au niveau des baselines. L'article est volumineux : 49 pages, dont 9 de texte principal, plus 14 figures.

Que changer dans les pipelines RAG

Pour les praticiens, la conclusion est la suivante. Si votre système repose sur une constante unique du type « dans quelle mesure faire confiance au contexte », il intègre une hypothèse implicite sur la qualité de l'index. Cette hypothèse cède quand le corpus change, par exemple en passant d'un wiki interne au web ouvert. Il est utile, au minimum, d'estimer la part de contextes fiables sur un échantillon annoté et de l'utiliser comme prior.

La deuxième leçon concerne la calibration. Il vaut mieux obliger le modèle à énoncer séparément ce qu'il sait sans contexte, puis à évaluer sa confiance dans cette connaissance. La seule divergence entre distributions de réponse ne le permet pas. Troisième enseignement : l'abstention offre une issue honnête là où les sources divergent et où le prior ne permet pas de trancher avec assurance.

Les limites sont également claires. La méthode exige d'estimer π et ne fonctionne que si le modèle possède réellement la connaissance en question, et la validation se limite pour l'instant à deux modèles et deux benchmarks. Mais la formulation elle-même, qui traite le conflit de connaissances comme un problème bayésien plutôt que comme le choix d'un vainqueur, influencera probablement la conception des prochains systèmes RAG.