Conflito de conhecimento em RAG: um prior no lugar de regra rígida rende até +26 pontos

Quando um sistema RAG recupera da base um documento que contradiz o que o modelo sabe por conta própria, alguém precisa decidir em quem acreditar. No artigo «Don't Pick a Winner», os pesquisadores Minh Pham Van e um coautor afirmam que qualquer decisão embutida antecipadamente na arquitetura está fadada ao fracasso. O sistema que propõem fez 45,3 pontos no benchmark GRACE com o Qwen3.5-35B-A3B e 35,0 com o Llama-3.1-8B. O melhor dos métodos existentes marcou 29,4 e 27,5. Em qualquer mistura de contextos corretos e incorretos, a vantagem chegou a 26 pontos.

Por que toda regra fixa perde

O problema é simples. Um modelo com recuperação aumentada (retrieval-augmented) responde com base em duas fontes: o contexto recuperado e o próprio conhecimento paramétrico. Quando o contexto é incompleto ou incorreto, as duas divergem. As abordagens atuais resolvem o conflito com uma regra escolhida na fase de projeto: seguir o contexto às cegas, reforçá-lo na proporção em que ele desloca a distribuição do modelo ou confiar na memória.

Os autores constroem um modelo de teoria da decisão com duas fontes. Nele, a qualidade de qualquer regra fixa depende linearmente da proporção de contextos confiáveis no fluxo, enquanto a melhor qualidade alcançável é convexa. Isso significa que toda regra fixa fica abaixo do ótimo em todos os pontos, exceto naquele em que, por acaso, ela coincide com a realidade. A regra «confie no contexto» funciona bem em uma base de conhecimento limpa e mal em uma base ruidosa. A regra «confie na memória» é o inverso.

Há ainda um segundo argumento, contra a decodificação adaptativa. Ela mede a divergência simétrica entre as distribuições com e sem contexto. Esse valor é o mesmo quando o contexto está certo e quando a memória está certa, portanto não diz nada sobre quem tem razão.

Duas entradas que nenhum método tem

A teoria indica que a resolução do conflito exige duas entradas. A primeira é a evidência sobre cada fonte separadamente. A segunda é um prior sobre a frequência com que o contexto está correto. Nenhum método existente guarda nenhuma das duas.

Para testar isso, os autores usaram o GRACE. O benchmark intervém no contexto a partir de um grafo de conhecimento, para uma pergunta fixa. Assim, é possível medir separadamente o que o modelo sabe, o que o contexto diz e o que é verdadeiro. Nesse benchmark, cada baseline das quatro famílias é forte ou em contextos corretos ou em incorretos, mas não nos dois ao mesmo tempo.

O sistema dos próprios autores tem quatro etapas:

• o modelo formula o que sabe na forma de notas;
• uma pequena política verbaliza cada nota com uma confiança calibrada;
• um leitor responde com «duas vozes», uma pelo contexto e outra pelas notas;
• um seletor fixa a resposta ou se abstém, aplicando o prior π como um deslocamento exato de prior (exact prior shift).

Números e limites de aplicação

Quando π é igual à proporção real de contextos corretos, o sistema supera o melhor baseline em todas as misturas de contextos do GRACE, por até 26 pontos. Os principais resultados:

• GRACE, Qwen3.5-35B-A3B: 45,3 contra 29,4 do melhor baseline;
• GRACE, Llama-3.1-8B: 35,0 contra 27,5;
• ClashEval (protocolo pré-registrado): +12 pontos sobre o CK-PLUG e +26 sobre o TCR, no mesmo backbone;
• quando o modelo não tem o conhecimento necessário, o ganho desaparece.

Os autores apresentam o último ponto como confirmação da teoria, e não como ressalva. Se não há nada na memória paramétrica, uma evidência separada sobre essa fonte é inútil, e o método volta ao nível dos baselines. O artigo é extenso: 49 páginas, das quais 9 de texto principal, além de 14 figuras.

O que mudar em pipelines de RAG

Para quem trabalha com isso na prática, a conclusão é esta. Se o seu sistema usa uma única constante para «quanto confiar no contexto», há nela uma premissa oculta sobre a qualidade do índice. Essa premissa quebra quando o corpus muda, por exemplo na passagem de uma wiki interna para a web aberta. Vale ao menos estimar a proporção de contextos corretos em uma amostra anotada e usá-la como prior.

A segunda lição diz respeito à calibração. Convém obrigar o modelo a dizer separadamente o que sabe sem o contexto e a avaliar a confiança nesse conhecimento. A divergência entre distribuições de resposta, sozinha, não fornece isso. A terceira: abster-se de responder é uma saída honesta quando as fontes divergem e o prior não permite escolher com confiança.

As limitações também são claras. O método exige a estimativa de π e só funciona quando o modelo de fato possui o conhecimento, e a validação até agora se limita a dois modelos e dois benchmarks. Mas a própria formulação, que trata o conflito de conhecimento como um problema bayesiano e não como a escolha de um vencedor, provavelmente vai influenciar o design dos próximos sistemas RAG.