Ragas, DeepEval, RAGChecker, Opik: какие метрики RAG действительно работают

12 июля 2026 года французские исследователи опубликовали на arXiv эмпирическое исследование метрик для RAG-систем (Retrieval-Augmented Generation). Учёные сравнили, насколько хорошо четыре популярные библиотеки метрик предсказывают качество, оценённое человеком, на реальных данных из бизнес-систем.

Какие метрики тестировали

Исследователи выбрали четыре библиотеки метрик RAG:

• Ragas — метрики основаны на LLM-оценке и классических IR-метриках
• DeepEval — фокус на корреляции с человеческими оценками
• RAGChecker — ориентирована на проверку правильности контекста
• Opik — инструмент мониторинга и оценки от OpenAI

Дополнительно использовали стандартные метрики: recall, precision, F1 и другие.

Данные для теста создали сами: человеческие аннотаторы размечали вопросы и ответы на основе реальных бизнес-документов. Это позволило избежать синтетических данных и проверить метрики в естественной обстановке.

Что коррелирует с качеством

Если метрика действительно хорошо предсказывает качество, её оценки должны коррелировать с оценками человека. Оказалось, что разные метрики из одной библиотеки (и особенно из разных библиотек) дают сильно отличающиеся результаты.

Некоторые метрики хорошо коррелировали с человеческими оценками на полный набор данных, но предсказывали плохо на подмножестве. Другие показывали противоположные корреляции: росла одна метрика — падала человеческая оценка.

«Мы увидели, что простая агрегация нескольких метрик не гарантирует

лучший результат», — заключают авторы исследования.

Почему результаты нужно уточнять

Исследователи честно отметили ограничения своей методологии: размер датасета был относительно небольшим, данные берились из одного домена (бизнес-документы), и не все метрики из четырёх библиотек были использованы полностью. Методология оценки сама по себе зависела от выбора аннотаторов — разные люди иногда дают разные оценки одного ответа.

Кроме того, в статье отмечено, что некоторые метрики плохо справляются на случаях, когда ответ правильный, но переформулирован, или когда контекст содержит нужную информацию, но метрика этого не замечает.

Что это значит

Нет универсальной метрики RAG, которая бы одинаково хорошо работала на всех типах систем. Разработчикам RAG-приложений нужно выбирать метрики под свою задачу, а лучше всего комбинировать несколько подходов и регулярно проверять их на реальных данных с человеческой разметкой.

Частые вопросы

Какую метрику выбрать для моей RAG-системы?

Нет однозначного ответа. Авторы рекомендуют начать с простых метрик (recall, precision), потом добавить одну из четырёх библиотек (например, Ragas, если нужна быстрота; DeepEval, если важна корреляция с человеком) и обязательно валидировать на своих данных.

Почему метрики из разных библиотек дают разные результаты?

Каждая библиотека использует разные формулы, разные LLM-модели для оценки и разные определения «качества». Раgas может считать важным совпадение с исходной информацией, а RAGChecker — правильность логики в ответе. На одних данных это совпадает, на других — нет.