Conflicto de conocimiento en RAG: por qué se necesita una probabilidad de acierto del contexto, no un algoritmo rígido

Conflicto de conocimiento en RAG: por qué se necesita una probabilidad

de acierto del contexto, no un algoritmo rígido

En mayo de 2024, el buscador de Google llegó a recomendar a los usuarios añadir pegamento a la salsa de pizza y comer una piedra al día: el modelo repitió fielmente una broma de un foro y un artículo satírico que había encontrado en internet, pese a que su propio conocimiento habría bastado para detectar la broma. Aquel incidente se convirtió en una ilustración perfecta de un problema que ahora han analizado investigadores del Instituto de Correos y Telecomunicaciones de Hanói: cuando un modelo con búsqueda integrada (RAG) dispone de dos posibles fuentes de respuesta —el texto recuperado y su propia memoria— y estas se contradicen, no está claro a cuál hay que creer.

Por qué las reglas rígidas no funcionan

Todos los enfoques existentes resuelven este conflicto de la misma manera: eligen de antemano, ya en la fase de diseño, la dirección de la confianza. Unos métodos siempre siguen el texto recuperado; otros amplifican su influencia en proporción a cuánto "tira" de la respuesta del modelo hacia sí mismo; otros se apoyan únicamente en la memoria del modelo. Los autores demostraron matemáticamente que cualquier regla fija de este tipo se comporta como una línea recta en un gráfico que relaciona la calidad de la respuesta con la proporción de contextos "correctos", mientras que el mejor resultado posible se describe mediante una curva convexa que queda por encima de esa línea en todos los puntos excepto en uno.

Es decir, cualquier regla rígida está garantizada a perder casi siempre, y esto no es una cuestión de ajuste de parámetros, sino una inevitabilidad matemática.

Los investigadores analizaron por separado el popular método AdaCAD, que mide cuánto difieren las respuestas del modelo "con texto" y "sin texto" (mediante la divergencia de Jensen-Shannon) y amplifica la influencia del contexto proporcionalmente a esa diferencia. El problema es que esta métrica es simétrica: reacciona de la misma manera tanto si "el texto tiene razón y el modelo se equivoca" como en el caso contrario. Las pruebas mostraron que la divergencia es, en promedio, igual independientemente de si el modelo está en lo correcto o no.

Como resultado, precisamente donde el texto es erróneo, AdaCAD empuja con más fuerza al modelo hacia la respuesta incorrecta: en el 70% de los casos, frente al 20% de un método sencillo sin ningún truco especial.

Cómo está construida la solución

Para poner a prueba todas estas ideas de manera justa, los autores crearon el banco de pruebas GRACE a partir de preguntas basadas en la base de conocimiento Wikidata. La clave está en que, para una misma pregunta, el contexto se manipula o se corrige deliberadamente de cuatro maneras distintas: se deja intacto, se le quita el dato necesario, se sustituye por un dato erróneo, o se le añaden a la vez una versión correcta y otra incorrecta. Esto permite medir con precisión qué sabe el modelo, qué dice el texto y qué es realmente verdad, de forma independiente entre sí.

La solución consta de tres pasos:

• Notas de conocimiento. Antes de leer el contexto, el modelo formula varias veces —una de forma determinista y cinco con aleatoriedad— lo que sabe sobre el tema, en forma de afirmaciones independientes. Lo que el modelo repite igual cada vez probablemente lo sabe de verdad; lo que cambia de una ejecución a otra probablemente lo está adivinando.
• Calibración de confianza. Un pequeño modelo entrenado (un transformador de dos capas) evalúa cada una de esas afirmaciones y le asigna un nivel de confianza numérico, ajustado para que la confianza declarada refleje con la mayor precisión posible la probabilidad real de acierto. Esto se logra mediante una función de recompensa especializada que penaliza la confianza falsa con más dureza de la que recompensa la confianza correcta.
• Decisión final. Un módulo "juez" dedicado (gradient boosting) compara las respuestas candidatas derivadas del texto y de la memoria del modelo, aplica una probabilidad predefinida de "con qué frecuencia el contexto suele tener razón en este escenario" y, o bien elige la mejor opción, o directamente se abstiene de responder si la confianza es insuficiente.

Resultados y qué significa en la práctica

En el banco de pruebas GRACE, el sistema superó al mejor de los trece métodos alternativos probados en cualquier proporción de contextos correctos e incorrectos; la mejora llegó a 26 puntos y nunca cayó en una pérdida significativa. La puntuación media final fue de 45,3 para el modelo Qwen3.5-35B-A3B y de 35,0 para Llama-3.1-8B, frente a 29,4 y 27,5 de los mejores métodos rivales. En el banco de pruebas externo independiente ClashEval, preparado de antemano (sin ajustes específicos para él), el sistema superó a los métodos CK-PLUG y TCR por 12 y 26 puntos respectivamente.

Una salvedad importante: la ventaja desaparece en los casos en que el propio modelo no conoce la respuesta, algo esperable, ya que toda la idea se basa en comparar el conocimiento del modelo con el texto, no en adivinar por arte de magia. Para los ingenieros que construyen sistemas RAG, la conclusión práctica es sencilla: no hay que buscar un único coeficiente de confianza correcto para la búsqueda, sino evaluar explícitamente la probabilidad de acierto del contexto para el escenario de uso concreto e incorporarla al sistema como un parámetro ajustable, en lugar de codificar una regla rígida.