Ragas, DeepEval, RAGChecker, Opik: какие метрики RAG действительно работают

El 12 de julio de 2026, investigadores franceses publicaron un estudio empírico en arXiv sobre métricas para sistemas RAG (Retrieval-Augmented Generation). Los científicos compararon qué tan bien cuatro bibliotecas populares de métricas predicen la calidad evaluada por humanos en datos reales de sistemas empresariales.

Qué métricas se probaron

Los investigadores seleccionaron cuatro bibliotecas de métricas RAG:

• Ragas — métricas basadas en evaluación por LLM y métricas clásicas de IR
• DeepEval — enfoque en correlación con evaluaciones humanas
• RAGChecker — orientada a la verificación de la corrección del contexto
• Opik — herramienta de monitoreo y evaluación de OpenAI

Adicionalmente, se utilizaron métricas estándar: recall, precision, F1 y otras.

Los datos de prueba fueron creados por los propios investigadores: anotadores humanos etiquetaron preguntas y respuestas basadas en documentos empresariales reales. Esto permitió evitar datos sintéticos y probar las métricas en un escenario natural.

Qué correlaciona con la calidad

Si una métrica realmente predice bien la calidad, sus puntuaciones deben correlacionar con las puntuaciones humanas. Resultó que diferentes métricas de la misma biblioteca (y especialmente de diferentes bibliotecas) dieron resultados significativamente diferentes.

Algunas métricas correlacionaban bien con evaluaciones humanas en el conjunto completo de datos, pero predecían mal en un subconjunto. Otras mostraban correlaciones opuestas: una métrica aumentaba mientras la evaluación humana disminuía.

"Descubrimos que la simple agregación de varias métricas no garantiza

un mejor resultado", concluyen los autores del estudio.

Por qué los resultados necesitan ser aclarados

Los investigadores honestamente señalaron las limitaciones de su metodología: el tamaño del conjunto de datos era relativamente pequeño, los datos provenían de un único dominio (documentos empresariales) y no se utilizaron completamente todas las métricas de las cuatro bibliotecas. La propia metodología de evaluación dependía de la elección de los anotadores — diferentes personas a veces dan diferentes calificaciones para la misma respuesta.

Además, el artículo señala que algunas métricas funcionan mal en casos donde la respuesta es correcta pero reformulada, o cuando el contexto contiene la información necesaria pero la métrica no lo nota.

Qué significa esto

No hay una métrica RAG universal que funcione igualmente bien para todos los tipos de sistemas. Los desarrolladores de aplicaciones RAG necesitan elegir métricas para su tarea específica, y lo mejor es combinar varios enfoques y validarlos regularmente en datos reales con anotación humana.

Preguntas frecuentes

¿Qué métrica debo elegir para mi sistema RAG?

No hay una respuesta definitiva. Los autores recomiendan comenzar con métricas simples (recall, precision), luego añadir una de las cuatro bibliotecas (por ejemplo, Ragas si la velocidad es importante; DeepEval si la correlación con humanos es crítica) y definitivamente validar en tus propios datos.

¿Por qué las métricas de diferentes bibliotecas dan resultados diferentes?

Cada biblioteca utiliza diferentes fórmulas, diferentes modelos LLM para la evaluación y diferentes definiciones de "calidad". Ragas puede considerar importante la coincidencia con la información original, mientras que RAGChecker valora la corrección de la lógica en la respuesta. En algunos datos esto coincide, en otros no.