Метка «нет эталонных документов» потеряла точность с 0,68 до 0,10 на сильных ретриверах

Бенчмарки разговорного RAG, такие как MTRAG и RETECO, оценивают систему целиком: модель отвечает по тем документам, которые сама нашла, и должна отказаться, если ответа в них нет. Чтобы засчитать отказ, нужно знать, достаточен ли найденный контекст. Вручную размечать контексты всех систем невозможно, поэтому на практике используют упрощение: если среди найденных документов нет ни одного эталонного (gold) из разметки релевантности, контекст считают недостаточным для ответа. Автор репродукционной работы из школы Letovo в Москве проверил это правило на RECOR (второй трек RETECO) и показал, что по мере улучшения ретривера, то есть модуля первичного поиска документов, оно перестаёт работать. Его точность упала с 0,68 до 0,10, пока nDCG@10 (метрика качества ранжирования в топ-10 выдачи) росла с 0,18 до 0,59.

Как проверяли правило

RECOR состоит из диалогов: каждый разворачивает вопрос со StackExchange или из BRIGHT в 3–5 коротких реплик, зависящих от контекста. У каждой реплики есть эталонные документы и опорный ответ, сгенерированный GPT-4.1 из проверенных атомарных фактов. Корпуса доменов содержат от 16 тысяч до 121 тысячи документов, включая негативные примеры, добытые под каждый вопрос. Автор взял 858 реплик dev-части из 211 диалогов.

Сначала он в точности воспроизвёл официальные BM25-базлайны: показатели совпали с опубликованными до четвёртого знака во всех 11 доменах (макросредние nDCG@10 на dev — 0,183 и 0,438). Затем построил «лестницу» из четырёх ретриверов: BM25 по текущей реплике, BM25 с историей диалога, Fusion (слияние BM25-запусков по трём LLM-расширениям запроса) и гибрид с плотным ретривером reason-embed-qwen3-4b. Их nDCG@10 на dev — 0,183, 0,438, 0,550 и 0,591, а доля реплик хотя бы с одним эталонным документом в топ-5 — 0,28, 0,65, 0,77 и 0,82.

Содержание каждого контекста оценивали два открытых LLM-судьи и панель из четырёх малых моделей: Qwen3-4B-Instruct-2507, Phi-4-mini-instruct, SmolLM3-3B и Granite-3.3-8B-instruct. Дополнительно Claude Opus 5.5 вслепую разметила 250 контекстов, не видя ни ретривера, ни метки из qrels. Два её прогона совпали в 97% случаев, спорные примеры решал третий прогон. Отвечали модели Qwen3-1.7B, Qwen3-4B-Instruct-2507 и Qwen3-8B.

Чем сильнее ретривер, тем чаще правило ошибается

Среди контекстов без gold доля тех, что всё же содержат ответ, выросла с 28% до 72%. Точность правила как детектора недостаточного контекста упала с 0,68 до 0,10, а по слепому аудиту — с 0,70 до 0,21. Причина в неполной разметке. Чаще всего ответ находится в сложном негативе, добытом под тот же вопрос, в эталонном документе другой реплики или в соседнем фрагменте эталонной страницы. В примере про глюкометры найденный документ объясняет, что фермент глюкозооксидаза специфичен только к D-глюкозе. Но в qrels он помечен негативом, а настоящий gold-документ с этим же отрывком поиск не вернул.

Выводы подтверждают независимые проверки: подсчёт копий gold-документов без участия судей, слепой аудит, негативный контроль, оценки людей на MTRAG и ответы самой модели. Qwen3-4B верно отвечает на 62–67% таких ложных промахов, на 23–30% контекстов, которые судьи сочли недостаточными, и на 1% реплик без документов. Четыре малых судьи воспроизводят падение, но оценивают мягче крупных.

Что меняется для оценки отказов

Выбор метки способен перевернуть выводы. При оценке по наличию gold AUROC определения отвечаемости занижен вплоть до 0,19, а лучшим детектором достаточности кажется оценка ретривера, которая вообще не читает документы. На MTRAG, где разметку делали аннотаторы и нет добытых негативов, точность правила снижается с 0,72 до 0,50. Значит, эффект не ограничен RECOR.

Есть и оговорки. Расширения запросов для Fusion и гибрида сгенерировала закрытая модель Claude Sonnet 5. При пересборке на открытой модели Query2doc-пассажи с BM25 дают 0,453 вместо 0,546. Согласие двух прогонов аудитора в 97% отражает самосогласованность одной модели, а не согласие независимых разметчиков.

Практическая рекомендация автора: при сравнении ретриверов разной силы засчитывать отказ по содержательной метке каждого контекста, а не по наличию gold. Иначе сильный ретривер выглядит хуже, а модель, отказавшаяся отвечать при наличии ответа в документах, получает зачёт. Код, прогоны и метки опубликованы в репозитории reteco-2026.