MWS AI e SberAI propõem o DRAGOn, benchmark dinâmico para avaliar sistemas RAG

Pesquisadores da MWS AI, da SberAI e de várias universidades apresentaram o DRAGOn, um benchmark dinâmico para avaliar sistemas RAG que operam sobre um corpus atualizado regularmente. O trabalho foi publicado no arXiv em julho de 2025 e, em março de 2026, entrou nos anais da EACL 2026 como uma forma prática de testar RAG com dados realmente novos, e não com um conjunto de perguntas fixado há muito tempo.

Por que isso é difícil

A avaliação de RAG quase sempre esbarra no mesmo problema: os testes envelhecem mais rápido que os próprios sistemas. Se o benchmark é construído sobre um corpus fixo, o modelo pode ir bem não porque busca e conecta bem os documentos, mas porque já viu parte dos fatos durante o treinamento. Há ainda outra dificuldade: na qualidade final, é difícil separar a contribuição do recuperador da do gerador. E preparar manualmente pares de pergunta e resposta para atualização constante é caro, lento e quase não escala para equipes que querem comparar regularmente novas versões de seus pipelines.

Como o DRAGOn funciona

Os autores propõem montar o benchmark como um pipeline. Parsers coletam regularmente material de fontes de notícias e, em seguida, um módulo separado extrai dos textos fatos atômicos na forma de triplas "sujeito — relação — objeto". Depois, o sistema confronta as entidades com a Wikidata e descarta fatos já conhecidos, para que a amostra tenha apenas conhecimento novo. A partir do grafo resultante, perguntas de dificuldades variadas são geradas automaticamente, e o benchmark pode ser relançado regularmente sem remontagem manual e com controle de versões claro.

• Simple: pergunta sobre um único fato
• Set: lista de vários objetos com uma relação em comum
• Multi-hop: pergunta que passa por uma entidade intermediária
• Conditional: resposta que precisa atender a duas condições ao mesmo tempo

Além disso, os autores adicionaram um ranking público e dividiram a avaliação em parte pública e parte privada. A pública serve para comparar resultados abertamente; a privada, para conferir com precisão o gabarito e evitar ajustes a respostas conhecidas. Esse formato torna a comparação entre configurações de RAG mais justa: uma equipe pode testar um novo recuperador, outra um novo gerador, e ambas obtêm resultados comparáveis em um corpus recente, e não em um conjunto que o modelo já pode ter aprendido.

Como é a verificação

Para que os pares de pergunta e resposta gerados automaticamente não virem ruído, o DRAGOn os passa por vários filtros. Primeiro, a correção linguística básica é checada com o RuRoBERTa-large; depois, as perguntas passam por uma verificação NER com o Natasha. Em seguida, os exemplos fáceis demais são removidos: se modelos pequenos, como Qwen 2.5 7B ou LLaMa 3 8B, respondem sem se apoiar no contexto, a pergunta não serve para uma avaliação justa de RAG e é excluída da versão final.

O controle de qualidade final fica a cargo do POLLUX 7B no modo LLM-as-a-Judge. O modelo avalia gramática, naturalidade, correção e dependência da pergunta em relação ao contexto, e essas notas são comparadas com a anotação humana. Em um experimento com 532 exemplos, o juiz automático mostrou alta precisão, embora tenha se revelado bastante rigoroso.

Depois da filtragem, os autores mantêm 150 perguntas de qualidade por categoria e avaliam os sistemas separadamente em busca e em geração. Nos testes, as combinações com Qwen 3 Embedding 8B e E5 Mistral 7B Instruct tiveram o melhor desempenho. A conclusão é simples: se o recuperador encontra o contexto certo, fica bem mais fácil para o gerador dar uma resposta precisa.

O que isso significa

O DRAGOn é uma tentativa de transformar a avaliação de RAG de uma demonstração pontual em um processo continuamente atualizado. Para equipes que constroem busca em documentos, notícias ou bases de conhecimento internas, a abordagem é útil porque reduz o risco de falsa confiança: um sistema pode responder bem sobre dados conhecidos e falhar diante de fatos realmente novos. Um benchmark dinâmico ajuda a perceber essa diferença mais cedo e dá um retrato mais honesto de quão pronto um RAG está para o mundo real.