Конфликт знаний в RAG: почему нужен не жёсткий алгоритм, а вероятность правоты контекста

В мае 2024 года поисковик Google всерьёз советовал пользователям добавлять клей в соус для пиццы и съедать по камню в день — модель честно пересказала найденные в сети шутку с форума и сатирическую статью, хотя собственных знаний ей хватило бы, чтобы понять подвох. Эта история стала наглядной иллюстрацией проблемы, которую разобрали исследователи из Почтово-телекоммуникационного института Ханоя: когда у модели с поиском (RAG) есть два источника ответа — найденный текст и собственная память — и они противоречат друг другу, непонятно, кому верить.

Почему жёсткие правила не работают

Все существующие подходы решают этот конфликт одним и тем же способом: заранее, ещё на этапе разработки, выбирают направление доверия. Одни методы всегда следуют за найденным текстом, другие усиливают его влияние пропорционально тому, насколько сильно он «тянет» ответ модели в свою сторону, третьи полагаются только на память модели. Авторы доказали математически: любое такое фиксированное правило ведёт себя как прямая линия на графике зависимости качества от доли «правильных» контекстов — а наилучший возможный результат описывается выпуклой кривой, которая лежит выше этой линии везде, кроме одной точки. То есть любое жёсткое правило гарантированно проигрывает почти всегда, и это не вопрос настройки параметров, а математическая неизбежность.

Отдельно разобрали популярный метод AdaCAD, который измеряет, насколько сильно расходятся ответы модели «с текстом» и «без текста» (через дивергенцию Йенсена-Шеннона), и усиливает контекст пропорционально этому расхождению. Проблема в том, что эта метрика симметрична: она одинаково реагирует и на ситуацию «текст прав, модель ошибается», и на обратную. Проверка показала: расхождение в среднем одинаковое независимо от того, права модель или нет. В результате именно там, где текст ошибочен, AdaCAD сильнее всего «проталкивает» модель к неверному ответу — в 70% случаев против 20% у обычного метода без всяких ухищрений.

Как устроено решение

Чтобы честно проверить все эти идеи, авторы собрали тестовый набор GRACE на основе вопросов к базе знаний Wikidata. Фишка в том, что для одного и того же вопроса контекст специально портится или чинится четырьмя способами — остаётся целым, лишается нужного факта, подменяется неверным фактом или получает одновременно верный и неверный варианты. Благодаря этому можно точно измерить, что знает модель, что говорит текст и что правда на самом деле — отдельно друг от друга.

Решение состоит из трёх шагов:

• Заметки о знаниях. Прежде чем читать контекст, модель несколько раз (один раз чётко и пять раз со случайностью) формулирует, что она знает по теме, в виде отдельных утверждений. То, что модель повторяет каждый раз одинаково, скорее всего, она действительно знает; то, что меняется от запуска к запуску — скорее угадывает.
• Калибровка уверенности. Небольшая обученная модель (двухслойный трансформер) оценивает каждое такое утверждение и присваивает ему числовую уверенность — так, чтобы озвученная уверенность максимально точно отражала реальную вероятность правоты. Это настроено через специальную функцию вознаграждения, которая штрафует за ложную уверенность сильнее, чем поощряет за верную.
• Финальный выбор. Специальный блок-«судья» (градиентный бустинг) сравнивает варианты ответа от текста и от памяти модели, применяет заранее заданную вероятность «насколько часто контекст вообще прав в этом сценарии» и либо выбирает лучший вариант, либо честно отказывается отвечать, если уверенности недостаточно.

Результаты и что это значит на практике

На тесте GRACE система обошла лучший из тринадцати проверенных альтернативных методов при любом соотношении правильных и неправильных контекстов — прибавка достигала 26 баллов и никогда не уходила в заметный минус. Итоговый средний балл — 45,3 для модели Qwen3.5-35B-A3B и 35,0 для Llama-3.1-8B, против 29,4 и 27,5 у лучших конкурентов. На независимом внешнем тесте ClashEval, подготовленном заранее (без подгонки под него), система обошла методы CK-PLUG и TCR на 12 и 26 баллов соответственно.

Важная оговорка: выигрыш исчезает там, где модель сама не знает ответа — и это ожидаемо, ведь вся идея строится на сопоставлении знаний модели с текстом, а не на магическом угадывании. Для инженеров, строящих RAG-системы, практический вывод прост: не стоит искать единственно верный коэффициент доверия к поиску — нужно явно оценивать вероятность правоты контекста для своего конкретного сценария использования и закладывать её в систему как настраиваемый параметр, а не зашивать жёсткое правило в код.