Conflit de savoirs dans le RAG : pourquoi il faut une probabilité de justesse du contexte, pas un algorithme rigide

Pourquoi les règles rigides ne fonctionnent pas

En mai 2024, le moteur de recherche de Google conseillait sérieusement aux utilisateurs d'ajouter de la colle à leur sauce pour pizza et de manger une pierre par jour — le modèle avait fidèlement restitué une blague de forum et un article satirique trouvés sur le web, alors que ses propres connaissances auraient suffi à déceler la supercherie. Cet épisode illustre parfaitement le problème analysé par les chercheurs de l'Institut des postes et télécommunications de Hanoï : lorsqu'un modèle doté d'une fonction de recherche (RAG) dispose de deux sources de réponse — le texte trouvé et sa propre mémoire — et que celles-ci se contredisent, il n'est pas évident de savoir à laquelle accorder sa confiance.

Toutes les approches existantes résolvent ce conflit de la même manière : elles fixent à l'avance, dès la phase de conception, une direction de confiance. Certaines méthodes suivent systématiquement le texte trouvé, d'autres renforcent son influence proportionnellement à la force avec laquelle il « tire » la réponse du modèle dans son sens, d'autres encore ne s'appuient que sur la mémoire du modèle. Les auteurs ont démontré mathématiquement que toute règle fixe de ce type se comporte comme une droite sur un graphique représentant la qualité en fonction de la proportion de contextes « corrects » — alors que le meilleur résultat possible est décrit par une courbe convexe, située au-dessus de cette droite partout, sauf en un seul point.

Autrement dit, toute règle rigide est condamnée à perdre presque toujours, et ce n'est pas une question de réglage de paramètres, mais une inévitabilité mathématique.

Les chercheurs ont examiné à part la méthode populaire AdaCAD, qui mesure l'écart entre les réponses du modèle « avec texte » et « sans texte » (via la divergence de Jensen-Shannon) et renforce le poids du contexte proportionnellement à cet écart. Le problème est que cette mesure est symétrique : elle réagit de la même manière à la situation « le texte a raison, le modèle se trompe » qu'à la situation inverse. Les tests ont montré que l'écart est en moyenne identique, que le modèle ait raison ou non.

Le résultat est que c'est précisément là où le texte est erroné que AdaCAD pousse le plus fortement le modèle vers une réponse incorrecte — dans 70 % des cas, contre 20 % pour une méthode ordinaire sans artifice particulier.

Comment fonctionne la solution

Pour tester honnêtement toutes ces idées, les auteurs ont constitué un jeu de test baptisé GRACE, construit à partir de questions posées à la base de connaissances Wikidata. Son originalité : pour une même question, le contexte est délibérément dégradé ou corrigé selon quatre modalités différentes — resté intact, privé du fait nécessaire, remplacé par un fait erroné, ou doté simultanément d'une variante correcte et d'une variante incorrecte. Cela permet de mesurer précisément ce que sait le modèle, ce que dit le texte, et ce qui est vrai en réalité — chaque élément étant isolé des autres.

La solution se déploie en trois étapes :

• Notes de connaissances. Avant même de lire le contexte, le modèle formule plusieurs fois (une fois de manière déterministe, puis cinq fois avec un facteur d'aléa) ce qu'il sait sur le sujet, sous forme d'affirmations distinctes. Ce que le modèle répète de manière identique à chaque fois, il le sait probablement vraiment ; ce qui varie d'une exécution à l'autre relève plutôt de la conjecture.
• Calibration de la confiance. Un petit modèle entraîné (un transformeur à deux couches) évalue chacune de ces affirmations et lui attribue un score de confiance numérique, de façon à ce que la confiance exprimée reflète le plus fidèlement possible la probabilité réelle d'exactitude. Ce réglage s'appuie sur une fonction de récompense spécifique, qui pénalise une fausse confiance plus sévèrement qu'elle ne récompense une confiance justifiée.
• Choix final. Un module « arbitre » (un algorithme de gradient boosting) compare les variantes de réponse issues du texte et de la mémoire du modèle, applique une probabilité prédéfinie correspondant à « la fréquence à laquelle le contexte a réellement raison dans ce type de scénario », et choisit soit la meilleure option, soit refuse honnêtement de répondre si la confiance est insuffisante.

Résultats et implications pratiques

Sur le test GRACE, le système a surpassé la meilleure des treize méthodes alternatives évaluées, quel que soit le ratio de contextes corrects et incorrects — avec un gain atteignant 26 points et sans jamais accuser de recul notable. Le score moyen final s'établit à 45,3 pour le modèle Qwen3.5-35B-A3B et 35,0 pour Llama-3.1-8B, contre 29,4 et 27,5 pour les meilleurs concurrents. Sur le test externe indépendant ClashEval, préparé à l'avance (sans ajustement spécifique), le système a dépassé les méthodes CK-PLUG et TCR de respectivement 12 et 26 points.

Une réserve importante : le gain disparaît lorsque le modèle ne connaît pas lui-même la réponse — ce qui est logique, puisque toute l'idée repose sur la confrontation des connaissances du modèle avec le texte, et non sur une quelconque supposition magique. Pour les ingénieurs qui construisent des systèmes RAG, la conclusion pratique est simple : il est inutile de chercher le coefficient de confiance « universel » à accorder à la recherche — il faut au contraire estimer explicitement la probabilité que le contexte soit correct pour son propre cas d'usage, et l'intégrer au système comme un paramètre ajustable, plutôt que de figer une règle rigide dans le code.