Конфликт знаний в RAG: приор вместо жёсткого правила даёт до +26 пунктов

Когда RAG-система достаёт из базы документ, который противоречит тому, что модель знает сама, кто-то должен решить, чему верить. Исследователи Minh Pham Van и соавтор в статье «Don't Pick a Winner» утверждают, что любое решение, зашитое в архитектуру заранее, обречено на провал. Предложенная ими система на бенчмарке GRACE набрала 45,3 балла на Qwen3.5-35B-A3B и 35,0 на Llama-3.1-8B. Лучший из существующих методов дал 29,4 и 27,5. На любой смеси верных и неверных контекстов преимущество достигало 26 пунктов.

Почему любое фиксированное правило проигрывает

Суть проблемы простая. Retrieval-augmented модель отвечает на основе двух источников: найденного контекста и собственных параметрических знаний. Когда контекст неполон или неверен, они расходятся. Существующие подходы решают конфликт правилом, выбранным на этапе проектирования: слепо следовать контексту, усиливать его пропорционально тому, насколько он сдвигает распределение модели, либо доверять памяти.

Авторы строят решающе-теоретическую модель с двумя источниками. В ней качество любого фиксированного правила линейно зависит от доли надёжных контекстов в потоке, а лучшее достижимое качество выпукло. Значит, любое фиксированное правило проигрывает оптимуму везде, кроме единственной точки, где оно случайно совпало с реальностью. Правило «верь контексту» хорошо работает на чистой базе знаний и плохо на зашумлённой. Правило «верь памяти» устроено наоборот.

Есть и второй аргумент, против адаптивного декодирования. Оно измеряет симметричную дивергенцию между распределениями с контекстом и без него. Эта величина одинакова, прав контекст или память, поэтому о том, кто из них прав, она ничего не сообщает.

Два входа, которых нет ни в одном методе

Из теории следует, что для разрешения конфликта нужны два входа. Первый: свидетельство о каждом источнике по отдельности. Второй: приор о том, как часто контекст оказывается верным. Ни один существующий метод не хранит ни того, ни другого.

Чтобы проверить это, авторы использовали GRACE. Бенчмарк вмешивается в контекст из графа знаний для фиксированного вопроса. Поэтому отдельно измеряется то, что знает модель, что говорит контекст и что истинно. На нём каждый бейзлайн из четырёх семейств силён либо на верных контекстах, либо на неверных, но не на обоих сразу.

Собственная конструкция авторов состоит из четырёх звеньев:

• модель формулирует свои знания в виде заметок;
• небольшая политика озвучивает каждую заметку с калиброванной уверенностью;
• ридер отвечает «двумя голосами», по контексту и по заметкам;
• селектор либо фиксирует ответ, либо воздерживается, применяя приор π как точный сдвиг приора (exact prior shift).

Цифры и границы применимости

При π, равном истинной доле верных контекстов, система опережает лучший бейзлайн при каждой смеси контекстов GRACE, до 26 пунктов. Вот основные результаты:

• GRACE, Qwen3.5-35B-A3B: 45,3 против 29,4 у лучшего бейзлайна;
• GRACE, Llama-3.1-8B: 35,0 против 27,5;
• ClashEval (предрегистрированный протокол): +12 пунктов к CK-PLUG и +26 к TCR на том же backbone;
• там, где модель не обладает нужным знанием, выигрыш исчезает.

Последний пункт авторы подают как подтверждение теории, а не как оговорку. Если в параметрической памяти ничего нет, отдельное свидетельство об этом источнике бесполезно, и метод возвращается к уровню бейзлайнов. Статья объёмная: 49 страниц, из них 9 основного текста, плюс 14 рисунков.

Что менять в RAG-пайплайнах

Для практиков вывод такой. Если ваша система держит одну константу «насколько доверять контексту», это скрытое предположение о качестве индекса. При смене корпуса, например при переходе от внутренней вики к открытому вебу, оно ломается. Полезно хотя бы оценивать долю верных контекстов на размеченной выборке и использовать её как приор.

Второй урок касается калибровки. Модель стоит заставлять отдельно проговаривать, что она знает без контекста, и оценивать уверенность в этом знании. Одна дивергенция распределений ответа не даст. Третий: воздержание от ответа даёт честный выход там, где источники расходятся, а приор не позволяет выбрать уверенно.

Ограничения тоже понятны. Метод требует оценки π и работает только там, где модель действительно владеет знанием, а проверка пока ограничена двумя моделями и двумя бенчмарками. Но сама постановка, где конфликт знаний решается как байесовская задача, а не как выбор победителя, вероятно, повлияет на дизайн следующих RAG-систем.