Ragas, DeepEval, RAGChecker, Opik: qué métricas de RAG funcionan de verdad

El 12 de julio de 2026, investigadores franceses publicaron en arXiv un estudio empírico sobre métricas para sistemas RAG (Retrieval-Augmented Generation). Compararon hasta qué punto cuatro bibliotecas populares de métricas predicen la calidad evaluada por personas, con datos reales de sistemas empresariales.

Qué métricas se probaron

Los investigadores eligieron cuatro bibliotecas de métricas RAG:

• Ragas — métricas basadas en evaluación con LLM y en métricas clásicas de recuperación de información (IR)
• DeepEval — centrada en la correlación con las valoraciones humanas
• RAGChecker — orientada a verificar la corrección del contexto
• Opik — herramienta de monitorización y evaluación de OpenAI

Además utilizaron métricas estándar: recall, precision, F1 y otras.

Los datos de la prueba los crearon ellos mismos: anotadores humanos etiquetaron preguntas y respuestas a partir de documentos empresariales reales. Así evitaron los datos sintéticos y pudieron probar las métricas en condiciones naturales.

Qué se correlaciona con la calidad

Si una métrica predice bien la calidad, sus puntuaciones deberían correlacionarse con las de una persona. Sin embargo, distintas métricas de una misma biblioteca (y más aún de bibliotecas diferentes) arrojaron resultados muy distintos.

Algunas métricas se correlacionaron bien con las valoraciones humanas en el conjunto completo de datos, pero predijeron mal en un subconjunto. Otras mostraron correlaciones opuestas: cuando una métrica subía, la valoración humana bajaba.

«Vimos que agregar simplemente varias métricas no garantiza un mejor

resultado», concluyen los autores del estudio.

Por qué hay que matizar los resultados

Los investigadores reconocieron con franqueza las limitaciones de su metodología: el conjunto de datos era relativamente pequeño, los datos procedían de un solo dominio (documentos empresariales) y no se usaron por completo todas las métricas de las cuatro bibliotecas. Además, el método de evaluación dependía de la elección de los anotadores: personas distintas a veces dan puntuaciones diferentes a una misma respuesta.

El artículo señala también que algunas métricas fallan cuando la respuesta es correcta pero está reformulada, o cuando el contexto contiene la información necesaria y la métrica no lo detecta.

Qué significa esto

No existe una métrica RAG universal que funcione igual de bien en todo tipo de sistemas. Quienes desarrollan aplicaciones RAG deben elegir las métricas según su tarea y, mejor aún, combinar varios enfoques y comprobarlos con regularidad con datos reales etiquetados por personas.

Preguntas frecuentes

¿Qué métrica elegir para mi sistema RAG?

No hay una respuesta única. Los autores recomiendan empezar con métricas simples (recall, precision), añadir después una de las cuatro bibliotecas (por ejemplo, Ragas si se necesita rapidez; DeepEval si importa la correlación con la valoración humana) y validar siempre con los datos propios.

¿Por qué las métricas de distintas bibliotecas dan resultados diferentes?

Cada biblioteca usa fórmulas distintas, modelos LLM distintos para evaluar y definiciones distintas de «calidad». Ragas puede dar importancia a la coincidencia con la información de origen, mientras que RAGChecker puede centrarse en la corrección lógica de la respuesta. Con algunos datos coinciden; con otros, no.