RAGAS e métricas de RAG: pare de chutar e comece a medir a qualidade

Os sistemas RAG estão ganhando popularidade, mas com frequência dão respostas erradas, acrescentam fatos inventados ou ignoram o contexto relevante. Na terceira parte da série sobre engenharia de qualidade, vamos ver como medir um RAG em vez de adivinhar, e como usar o RAGAS, um framework que troca a revisão manual por automação.

Por que as métricas de RAG são mais difíceis que as de LLM

Um LLM comum pode ser avaliado em benchmarks padrão: MMLU, HumanEval, TruthfulQA. O RAG adiciona uma camada de recuperação de contexto, e com ela surgem novos pontos de falha. A pergunta "Qual era o salário de Gates em 1997?" pode quebrar de várias formas:

• O buscador não encontrou um documento relevante: a busca devolveu ruído
• O modelo encontrou o documento, mas ignorou o fato necessário: falta de atenção
• O modelo encontrou o fato, mas acrescentou uma alucinação por cima: mistura de fonte e invenção
• O contexto era relevante, mas a resposta não corresponde à pergunta: erro lógico

Para controlar esses cenários, são necessárias métricas específicas. Revisar manualmente cada resposta é caro e não escala para milhares de consultas.

RAGAS: quatro métricas para todos os casos

O RAGAS é um framework da Basis AI para avaliação automática de RAG. Este é o conjunto básico de métricas:

• Faithfulness: a resposta gerada é fiel ao contexto? O modelo verifica se o LLM acrescentou fatos que não estão nas fontes. A nota vai de 0 a 1.
• Answer Relevance: a resposta corresponde à pergunta? O RAGAS gera uma pergunta inversa a partir da resposta e compara as duas semanticamente.
• Context Precision: os trechos recuperados são relevantes? Verifica se o buscador errou o rumo e devolveu ruído.
• Context Recall: o contexto está completo? Os documentos tinham toda a informação para responder à pergunta por inteiro?

Cada métrica aponta um gargalo: busca ruim, geração ruim ou as duas juntas.

Como o RAGAS avalia por dentro

Não há mágica aqui: o RAGAS usa o próprio LLM como juiz. Para a Faithfulness, ele pega a resposta gerada e o contexto, pede ao modelo que extraia as afirmações que podem ser verificadas (factual claims) e depois confere cada uma, em sequência, contra o contexto. Se um fato da fonte sustenta a afirmação, a pontuação sobe.

Para a Answer Relevance, ele gera uma pergunta hipotética a partir da resposta (reverse) e calcula a similaridade de cosseno (distância semântica) em relação à pergunta original. Quanto maior a correspondência, mais relevante é a resposta.

"Se o seu LLM sabe mentir, ele também sabe detectar a mentira", é a

lógica do framework.

Todo o processo exige chamadas ao LLM (no mínimo 2-3 por resposta), por isso o RAGAS é considerado caro em tokens. Mas a alternativa é contratar pessoas para anotar, o que é ainda mais caro e lento.

O que isso significa

O RAGAS torna a engenharia de RAG reprodutível e rastreável. Em vez de um "parece que funciona" qualitativo, você obtém métricas quantitativas que mostram como cada atualização (novos documentos, novo modelo, novo prompt) afeta a qualidade.

Para pequenos projetos pessoais, o RAGAS pode ser exagero. Para soluções corporativas, em que um erro custa dinheiro e a confiança dos clientes, é a tabela periódica que os engenheiros de RAG há muito tempo precisavam.