Conflicto de conocimiento en RAG: un prior en lugar de una regla rígida aporta hasta +26 puntos

Cuando un sistema RAG extrae de su base un documento que contradice lo que el modelo ya sabe, alguien tiene que decidir a qué dar crédito. Los investigadores Minh Pham Van y un coautor sostienen, en el artículo «Don't Pick a Winner», que cualquier decisión incorporada de antemano a la arquitectura está condenada al fracaso. El sistema que proponen obtuvo en el benchmark GRACE 45,3 puntos con Qwen3.5-35B-A3B y 35,0 con Llama-3.1-8B. El mejor de los métodos existentes logró 29,4 y 27,5. En cualquier mezcla de contextos correctos e incorrectos, la ventaja llegó a 26 puntos.

Por qué cualquier regla fija pierde

El problema es sencillo. Un modelo retrieval-augmented responde a partir de dos fuentes: el contexto recuperado y su propio conocimiento paramétrico. Cuando el contexto es incompleto o incorrecto, ambas divergen. Los enfoques actuales resuelven el conflicto con una regla elegida en la fase de diseño: seguir el contexto a ciegas, reforzarlo en proporción a cuánto desplaza la distribución del modelo, o confiar en la memoria.

Los autores construyen un modelo de teoría de la decisión con dos fuentes. En él, el rendimiento de cualquier regla fija depende linealmente de la proporción de contextos fiables en el flujo, mientras que el mejor rendimiento alcanzable es convexo. Por tanto, cualquier regla fija queda por debajo del óptimo en todas partes, salvo en el único punto en que coincide por casualidad con la realidad. La regla «confía en el contexto» funciona bien con una base de conocimiento limpia y mal con una ruidosa. La regla «confía en la memoria» funciona al revés.

Hay también un segundo argumento, dirigido contra la decodificación adaptativa. Esta mide la divergencia simétrica entre las distribuciones con contexto y sin él. Ese valor es el mismo tenga razón el contexto o la memoria, de modo que no dice nada sobre cuál de los dos acierta.

Dos entradas que no tiene ningún método

La teoría implica que, para resolver el conflicto, hacen falta dos entradas. La primera es la evidencia de cada fuente por separado. La segunda es un prior sobre la frecuencia con que el contexto resulta correcto. Ningún método existente almacena ninguna de las dos.

Para comprobarlo, los autores usaron GRACE. El benchmark manipula el contexto a partir de un grafo de conocimiento para una pregunta fija. Así se miden por separado lo que sabe el modelo, lo que dice el contexto y lo que es verdadero. En este benchmark, cada baseline de las cuatro familias es fuerte con contextos correctos o con incorrectos, pero no con ambos a la vez.

El diseño propio de los autores consta de cuatro eslabones:

• el modelo formula su conocimiento en forma de notas;
• una política pequeña expresa cada nota con una confianza calibrada;
• el lector responde «con dos voces», una según el contexto y otra según las notas;
• el selector fija la respuesta o se abstiene, aplicando el prior π como desplazamiento exacto del prior (exact prior shift).

Cifras y límites de aplicación

Cuando π es igual a la proporción real de contextos correctos, el sistema supera al mejor baseline en cada mezcla de contextos de GRACE, hasta en 26 puntos. Estos son los resultados principales:

• GRACE, Qwen3.5-35B-A3B: 45,3 frente a 29,4 del mejor baseline;
• GRACE, Llama-3.1-8B: 35,0 frente a 27,5;
• ClashEval (protocolo preregistrado): +12 puntos sobre CK-PLUG y +26 sobre TCR con el mismo backbone;
• donde el modelo no posee el conocimiento necesario, la ventaja desaparece.

Los autores presentan este último punto como una confirmación de la teoría, no como una salvedad. Si la memoria paramétrica no contiene nada, la evidencia independiente sobre esa fuente no sirve de nada y el método vuelve al nivel de los baselines. El artículo es extenso: 49 páginas, de las cuales 9 son de texto principal, más 14 figuras.

Qué cambiar en los pipelines RAG

Para los profesionales, la conclusión es esta. Si su sistema mantiene una única constante de «cuánto confiar en el contexto», eso encierra un supuesto oculto sobre la calidad del índice. Al cambiar de corpus, por ejemplo al pasar de una wiki interna a la web abierta, ese supuesto deja de cumplirse. Conviene, al menos, estimar la proporción de contextos correctos en una muestra etiquetada y usarla como prior.

La segunda lección tiene que ver con la calibración. Hay que obligar al modelo a explicitar por separado lo que sabe sin contexto y a evaluar su confianza en ese conocimiento. La divergencia entre distribuciones de respuesta, por sí sola, no lo aporta. La tercera: abstenerse de responder ofrece una salida honesta cuando las fuentes divergen y el prior no permite elegir con seguridad.

Las limitaciones también están claras. El método requiere estimar π y funciona solo donde el modelo realmente posee el conocimiento, y la validación se limita por ahora a dos modelos y dos benchmarks. Aun así, el planteamiento en sí, que trata el conflicto de conocimiento como un problema bayesiano y no como la elección de un ganador, probablemente influirá en el diseño de los próximos sistemas RAG.