Бенчмарк DRAGOn MWS AI и Сбера проверяет RAG на свежих новостях: 150 вопросов на категорию
RAG — это когда модель перед ответом ищет данные в вашей базе, а проверить её честно сложно: старые тесты она могла видеть при обучении. DRAGOn от MWS AI и Сбера берёт свежие новости, достаёт факты и выбрасывает те, что уже есть в Wikidata. Из оставшихся делают вопросы четырёх типов, по 150 лучших вопросов на категорию. Поэтому RAG выгоднее сравнивать на том, чего модель не знала.
AI-обработка оригинала Habr: MTS AI; редакция Hamidun News
RAG-систему сегодня можно собрать за вечер: подключить векторную базу, взять эмбеддинг-модель, добавить LLM. RAG (Retrieval-Augmented Generation) означает, что перед ответом модель сначала ищет нужные документы в подключённой базе и добавляет их в запрос. Гораздо сложнее ответить на вопрос, хорошо ли всё это работает. Эту проблему разбирает статья DRAGOn: Designing RAG On Periodically Updated Corpus. Её авторы из MWS AI, Сбера и нескольких университетов представили работу на EACL 2026. DRAGOn — это бенчмарк, то есть набор тестовых вопросов, который сам собирается из свежих новостей. После всех фильтров в нём остаётся по 150 вопросов на каждую категорию. Идея в том, чтобы проверять поиск, а не память модели.
Почему обычные бенчмарки врут про RAG
У большинства тестов для RAG есть общие слабости. Корпус документов фиксирован и со временем перестаёт отражать реальный мир. Вопросы и ответы чаще всего размечают вручную, а это долго и дорого. Кроме того, сложно понять, какой именно компонент системы повлиял на результат.
Но самая неприятная проблема в другом: непонятно, чем объясняется хороший результат. Возможно, поиск и правда нашёл нужный абзац. А возможно, базовая модель просто запомнила эти факты при обучении и ответила по памяти. Представьте, что вы проверяете поддержку, которая должна читать вашу базу знаний, а она отвечает из головы. Тест покажет «отлично», хотя поиск мог вообще не работать.
Авторы сводят всё к одной формулировке: у тестовой выборки нет независимости от обучающих данных. Решение они предлагают прямое: строить бенчмарк на знаниях, которых модель заведомо не видела. Для этого нужны три части: регулярно обновляемый корпус документов, автоматическая генерация пар «вопрос — ответ» и единая публичная система оценки.
Как DRAGOn делает вопросы из новостей
Конвейер устроен последовательно, и каждый шаг можно воспроизвести.
Сначала парсеры подгружают тексты из внешних источников. В статье это новостные агрегаторы, но подход не привязан к новостям. Затем Llama 3.3 70B Instruct вытаскивает из текстов факты в виде триплетов «субъект — отношение — объект», например «компания X — приобрела — стартап Y».
Дальше идёт самая важная для чистоты теста операция. Каждый факт проверяют через Wikidata API. Если он там уже есть, его выбрасывают, потому что модель вполне могла его знать. После этого та же Llama нормализует названия сущностей и отношений, и в граф попадают только новые факты.
Из графа собирают вопросы четырёх типов:
- по одному факту: «Кто возглавляет SpaceX?»;
- со списком ответов: «Для каких фильмов Ханс Циммер писал музыку?»;
- с цепочкой фактов, где промежуточная сущность в вопросе скрыта: «В какой стране находится компания, продавшая 2139 автомобилей в 2023 году?»;
- с пересечением условий, где ответом становится общая сущность: «Кто выступал в M-bar и встречался с Дмитрием Дибровым?».
Затем идёт многоступенчатая чистка. Одна модель отсеивает грамматические ошибки и неестественные формулировки. Библиотека NER проверяет именованные сущности. Небольшие модели пробуют ответить без контекста, и если справляются, вопрос удаляют: он слишком лёгкий и не требует поиска. Главную оценку ставит POLLUX 7B в роли LLM-судьи: от 0 до 2 баллов за грамотность, естественность, правильность и зависимость от контекста. В финальный набор попадает по 150 вопросов на каждую категорию.
Судью авторы сверили с людьми-аннотаторами. POLLUX 7B показал высокую точность, но умеренную полноту: он надёжно отбирает хорошие вопросы, но иногда бракует нормальные. Для бенчмарка это допустимо, ведь лучше получить меньше вопросов, но проверенного качества.
Что показали тесты и где ограничения
Поиск и генерацию оценивали раздельно. Для поиска считали, как часто правильный документ попадает в топ-N выдачи и насколько высоко он стоит (метрика MRR). Лучшие результаты показали связки с Qwen3 Embedding 8B и E5 Mistral 7B Instruct. Для генерации взяли ROUGE-2 и ROUGE-L, то есть совпадение слов и фраз с эталонным ответом. Основной упор сделали на оценку POLLUX 7B: насколько ответ верен, полон и опирается на найденный контекст.
Вывод получился житейским: какой контекст подашь, такой ответ и получишь. Системы с сильным поиском дали и лучшие ответы. Для практики это значит, что при отладке RAG сначала стоит проверять retriever и эмбеддинги, а не менять генерирующую модель.
Авторы также запустили публичный лидерборд. Результаты отправляют через специальную библиотеку. Часть данных скрыта для проверки, чтобы сравнение было честным.
Ограничения у работы есть. Пока бенчмарк охватывает только русскоязычные новости, а новостной поток отличается от медицинских, юридических или научных текстов. Архитектура позволяет перенести подход в другие домены, но готовых версий для них нет. Кроме того, LLM-судья ускоряет работу, но не заменяет эксперта: он по-прежнему перестраховывается.
Практический вывод для команд, которые делают RAG на русском языке. Если у вас есть собственный поток обновляемых документов (поддержка, база знаний, новости отрасли), эту схему можно повторить: вытащить факты, отсеять известные модели и собирать вопросы только по новому. Так тест измеряет работу поиска, а не память модели.
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
- 21 нояб. 2026 г.Meta готовит ИИ-тамагочи Muse Charm за $300 с годом 5G от Verizon
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
Вопросы и ответы по материалу
Что известно по теме: почему обычные бенчмарки врут про RAG?
У большинства тестов для RAG есть общие слабости. Корпус документов фиксирован и со временем перестаёт отражать реальный мир. Вопросы и ответы чаще всего размечают вручную, а это долго и дорого. Кроме того, сложно понять, какой именно компонент системы повлиял на результат. Но самая неприятная проблема в другом: непонятно, чем объясняется хороший результат. Возможно, поиск и правда нашёл нужный абзац. А возможно, базовая модель просто запомнила эти факты при обучении и ответила по памяти.
Что известно по теме: как DRAGOn делает вопросы из новостей?
Конвейер устроен последовательно, и каждый шаг можно воспроизвести. Сначала парсеры подгружают тексты из внешних источников. В статье это новостные агрегаторы, но подход не привязан к новостям. Затем Llama 3.3 70B Instruct вытаскивает из текстов факты в виде триплетов «субъект — отношение — объект», например «компания X — приобрела — стартап Y». Дальше идёт самая важная для чистоты теста операция. Каждый факт проверяют через Wikidata API.
Что известно по теме: что показали тесты и где ограничения?
Поиск и генерацию оценивали раздельно. Для поиска считали, как часто правильный документ попадает в топ-N выдачи и насколько высоко он стоит (метрика MRR). Лучшие результаты показали связки с Qwen3 Embedding 8B и E5 Mistral 7B Instruct. Для генерации взяли ROUGE-2 и ROUGE-L, то есть совпадение слов и фраз с эталонным ответом. Основной упор сделали на оценку POLLUX 7B: насколько ответ верен, полон и опирается на найденный контекст. Вывод получился житейским: какой контекст подашь, такой ответ и получишь.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.