RAGAS y métricas RAG: deja de adivinar y empieza a medir la calidad

Los sistemas RAG ganan popularidad, pero con frecuencia dan respuestas incorrectas, añaden hechos inventados o ignoran el contexto relevante. En la tercera parte de nuestra serie sobre ingeniería de calidad vemos cómo medir un RAG en lugar de echar las cartas, y cómo usar RAGAS, un framework que sustituye la revisión manual por automatización.

Por qué las métricas de RAG son más complejas que las de un LLM

Un LLM corriente se puede evaluar con benchmarks estándar: MMLU, HumanEval, TruthfulQA. RAG añade una capa de recuperación de contexto, y con ella nuevos puntos de fallo. La pregunta "¿Cuál era el salario de Gates en 1997?" puede fallar de varias maneras:

• El buscador no encontró un documento relevante: la recuperación devolvió ruido
• El modelo encontró el documento pero ignoró el dato clave: falta de atención
• El modelo encontró el dato pero añadió una alucinación encima: mezcla de fuente e invención
• El contexto era relevante, pero la respuesta no se corresponde con la pregunta: error lógico

Para controlar estos escenarios hacen falta métricas específicas. Revisar a mano cada respuesta es caro y no escala a miles de consultas.

RAGAS: cuatro métricas para todos los casos

RAGAS es un framework de Basis AI para la evaluación automática de RAG. Este es su conjunto básico de métricas:

• Faithfulness: ¿es la respuesta generada fiel al contexto? El modelo comprueba si el LLM añadió hechos que no están en las fuentes. La puntuación va de 0 a 1.
• Answer Relevance: ¿la respuesta se corresponde con la pregunta? RAGAS genera una pregunta inversa a partir de la respuesta y las compara semánticamente.
• Context Precision: ¿son relevantes los fragmentos recuperados? Comprueba si el buscador se desvió y devolvió ruido.
• Context Recall: ¿está completo el contexto? ¿Contenían los documentos toda la información necesaria para responder la pregunta por completo?

Cada métrica señala un cuello de botella: mala recuperación, mala generación o ambas.

Cómo evalúa RAGAS por dentro

Aquí no hay magia: RAGAS usa un LLM como juez. Para Faithfulness toma la respuesta generada y el contexto, pide al modelo que extraiga las afirmaciones verificables (factual claims) y después comprueba cada una por turno contra el contexto. Si un hecho de la fuente respalda la afirmación, la puntuación sube.

Para Answer Relevance genera una pregunta hipotética a partir de la respuesta (reverse) y calcula la similitud del coseno (distancia semántica) con la pregunta original. Cuanto mayor es la coincidencia, más relevante es la respuesta.

"Si tu LLM sabe mentir, también sabe detectar la mentira", es la

lógica del framework.

Todo el proceso exige llamadas al LLM (al menos 2-3 por respuesta), por lo que RAGAS se considera costoso en tokens. Pero la alternativa es contratar personas para el etiquetado, que es aún más caro y lento.

Qué significa

RAGAS hace que la ingeniería de RAG sea reproducible y trazable. En lugar de un "parece que funciona" cualitativo, obtienes métricas cuantitativas que muestran cómo afecta a la calidad cada actualización (nuevos documentos, un nuevo modelo, un nuevo prompt).

Para pequeños proyectos personales, RAGAS puede ser excesivo. Para soluciones empresariales, donde un error cuesta dinero y la confianza de los clientes, es la tabla periódica que a los ingenieros de RAG les faltaba desde hace tiempo.