Ragas, DeepEval, RAGChecker, Opik: какие метрики RAG действительно работают

Em 12 de julho de 2026, pesquisadores franceses publicaram no arXiv um estudo empírico sobre métricas para sistemas RAG (Retrieval-Augmented Generation). Os cientistas compararam o quão bem quatro bibliotecas populares de métricas predizem a qualidade avaliada por humanos em dados reais de sistemas de negócios.

Quais métricas foram testadas

Pesquisadores selecionaram quatro bibliotecas de métricas RAG:

• Ragas — métricas baseadas em avaliação por LLM e métricas clássicas de IR
• DeepEval — foco na correlação com avaliações humanas
• RAGChecker — orientada para verificação da correção do contexto
• Opik — ferramenta de monitoramento e avaliação da OpenAI

Adicionalmente, foram utilizadas métricas padrão: recall, precision, F1 e outras.

Os dados de teste foram criados pelos próprios pesquisadores: anotadores humanos rotularam perguntas e respostas com base em documentos de negócios reais. Isso permitiu evitar dados sintéticos e testar as métricas em um cenário natural.

O que correlaciona com a qualidade

Se uma métrica realmente prediz bem a qualidade, suas pontuações devem correlacionar com as pontuações humanas. Descobriu-se que diferentes métricas da mesma biblioteca (e especialmente de bibliotecas diferentes) deram resultados significativamente diferentes.

Algumas métricas correlacionavam bem com avaliações humanas em todo o conjunto de dados, mas prediziam mal em um subconjunto. Outras mostravam correlações opostas: uma métrica aumentava enquanto a avaliação humana diminuía.

"Descobrimos que a simples agregação de várias métricas não garante um

resultado melhor", concluem os autores do estudo.

Por que os resultados precisam ser esclarecidos

Pesquisadores honestamente observaram as limitações de sua metodologia: o tamanho do conjunto de dados era relativamente pequeno, os dados foram tirados de um único domínio (documentos de negócios) e nem todas as métricas das quatro bibliotecas foram utilizadas completamente. A própria metodologia de avaliação dependia da escolha dos anotadores — diferentes pessoas às vezes dão classificações diferentes para a mesma resposta.

Além disso, o artigo observa que algumas métricas funcionam mal em casos onde a resposta está correta mas parafraseada, ou quando o contexto contém a informação necessária mas a métrica não a nota.

O que isso significa

Não há uma métrica RAG universal que funcione igualmente bem para todos os tipos de sistemas. Desenvolvedores de aplicações RAG precisam escolher métricas para sua tarefa específica, e o melhor é combinar várias abordagens e validá-las regularmente em dados reais com anotação humana.

Perguntas frequentes

Qual métrica devo escolher para meu sistema RAG?

Não há uma resposta definitiva. Os autores recomendam começar com métricas simples (recall, precision), depois adicionar uma das quatro bibliotecas (por exemplo, Ragas se a velocidade for necessária; DeepEval se a correlação com humanos for importante) e definitivamente validar nos seus próprios dados.

Por que métricas de diferentes bibliotecas dão resultados diferentes?

Cada biblioteca usa fórmulas diferentes, modelos LLM diferentes para avaliação e definições diferentes de "qualidade". Ragas pode considerar importante a correspondência com a informação original, enquanto RAGChecker valoriza a correção da lógica na resposta. Em alguns dados isso coincide, em outros não.