Gemma-3-12b хуже находит ложь в RAG: доля обнаружений упала с 25% до 10%

Исследователи из Техасского университета в Далласе и ванкуверского кампуса New York Institute of Technology проверили, как Gemma-3-12b замечает ложные утверждения в RAG-контексте, если эти утверждения повторяются в нескольких документах. Когда отравленный документ был один из семи, модель находила подмену в 25% случаев. Когда то же утверждение встречалось в шести документах из семи, доля обнаружений упала до 10%. Авторы называют результат предварительным свидетельством конформизма: согласие документов между собой повышает доверие к ним, даже если всё это один и тот же вымысел.

Как собрали эксперимент

Основа — 200 случайных вопросов из SciFact (набор научных утверждений, которые нужно подтвердить или опровергнуть по источникам), выборка с зерном 38. Яд брали из предыдущей работы той же группы. Там для каждого вопроса сначала фиксировали верный ответ, затем генерировали противоречащее предложение и разворачивали его в связный текст примерно на 500 слов. Языковая модель-судья проверяла, что текст не поддерживает правильный ответ. Основным генератором был GPT-5.6, а Grok 4.6 подключали, когда GPT-5.6 отказывался писать.

Для нового теста каждый яд сохранили и сделали к нему пять перефразировок. Инструкция требовала сохранять исходные утверждения и уровень уверенности, включая заведомо ошибочную посылку, а не исправлять её. Дальше собрали два контекста по семь документов. В «меньшинстве» один отравленный и шесть здоровых. В «большинстве» оригинал яда, пять его перефразировок и один здоровый документ. Задачу формулировали одинаково: проверить фрагменты и вернуть структурированный отчёт о дезинформации с номером подозрительного фрагмента.

Что показали цифры

В условии «меньшинство» Gemma-3-12b обнаружила яд в 50 из 200 случаев (25,0%), в условии «большинство» — в 20 из 200 (10,0%). Разница — 15 процентных пунктов, или 60% относительного снижения. Это уже говорит о том, что детектор слабый: даже в лучшем случае три вопроса из четырёх проходят незамеченными.

Парный разбор интереснее. В обоих условиях яд нашли на 16 вопросах, ни в одном не нашли на 146. Остальные 38 вопросов дали разные исходы, и 34 из них перешли от «найдено» к «не найдено», а лишь четыре — в обратную сторону. Точный двусторонний тест Макнемара (парный тест, который смотрит только на вопросы со сменившимся исходом) подтвердил, что перекос значим. Для доверительных интервалов авторы использовали метод Уилсона.

Почему вывод пока осторожный

Главный практический риск понятен: атакующему не нужны независимые источники, достаточно размножить одно ложное утверждение в перефразированных текстах. RAG-система, которая считает каждый найденный фрагмент отдельной единицей доказательства, может принять такое дублирование за подтверждение. Шесть документов могут быть шестью разными исследованиями, а могут быть шестью пересказами одного голословного тезиса. Хороший детектор дезинформации должен учитывать происхождение источников и зависимость между ними, а не просто совпадение формулировок.

Но сами авторы подчёркивают границы работы. Протестирована одна модель на одной задаче с фиксированным контекстом из семи документов; поиск документов (ретривер) в эксперименте вообще не участвовал. Переход к «большинству» одновременно меняет три вещи: долю отравленных документов, число перефразированных повторов и количество здоровых контрдоказательств. Поэтому нельзя утверждать, что падение вызвано именно конформизмом, а не чувствительностью к повторам или нехваткой честных документов. Кроме того, использовались записанные в таблице бинарные метки обнаружения, без независимой человеческой проверки каждого текстового обоснования и без оценки того, правильно ли модель указала отравленный фрагмент.

Следующий шаг очевиден: менять долю яда, число перефразировок, независимость источников, порядок документов и количество здоровых текстов по отдельности. Пока что разработчикам RAG стоит учитывать один вывод: дедупликация семантически близких фрагментов и учёт источника перед подачей в модель могут быть полезнее, чем надежда на то, что модель сама заметит подвох. Авторы отдельно отмечают, что отравленные тексты были намеренно выдуманы для теста устойчивости и не должны восприниматься как научные утверждения.