Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DHabr: MTS AI→ original

Benchmark DRAGOn da MWS AI e da Sber testa RAG com notícias recentes: 150 perguntas por categoria

RAG é quando o modelo busca dados na sua base antes de responder, e avaliá-lo de forma honesta é difícil: o modelo pode ter visto os testes antigos durante o treinamento. O DRAGOn, da MWS AI e da Sber, pega notícias recentes, extrai fatos e descarta os que já existem na Wikidata. Com os restantes, são montadas perguntas em quatro tipos, com as 150 melhores por categoria. Por isso, a comparação de RAG faz mais sentido com aquilo que o modelo não sabia.

Processado por IA de Habr: MTS AI; editado por Hamidun News
Benchmark DRAGOn da MWS AI e da Sber testa RAG com notícias recentes: 150 perguntas por categoria
Fonte: Habr: MTS AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr: MTS AI ↗
Editor-chefe
Dado-chave #1A melhor busca foi obtida com Qwen3 Embedding 8B e E5 Mistral 7B Instruct
O juiz POLLUX 7B é rigorosoa precisão é alta, mas parte das perguntas válidas é rejeitada
Dado-chave #3Por enquanto, o benchmark cobre apenas notícias em russo

Hoje, um sistema RAG pode ser montado em uma tarde: conectar um banco vetorial, escolher um modelo de embeddings e acrescentar um LLM. RAG (Retrieval-Augmented Generation) significa que, antes de responder, o modelo primeiro busca os documentos necessários na base conectada e os acrescenta à consulta. Já responder se tudo isso funciona bem é bem mais complicado.

Esse problema é tratado no artigo DRAGOn: Designing RAG On Periodically Updated Corpus. Os autores, da MWS AI, da Sber e de várias universidades, apresentaram o trabalho na EACL 2026. O DRAGOn é um benchmark, ou seja, um conjunto de perguntas de teste que é montado automaticamente a partir de notícias recentes.

Depois de todos os filtros, restam 150 perguntas por categoria. A ideia é avaliar a busca, e não a memória do modelo.

Por que os benchmarks comuns enganam sobre RAG

A maioria dos testes para RAG tem fraquezas em comum. O corpus de documentos é fixo e, com o tempo, deixa de refletir o mundo real. As perguntas e respostas costumam ser anotadas manualmente, o que é demorado e caro. Além disso, é difícil entender qual componente do sistema influenciou o resultado.

Mas o problema mais desagradável é outro: não está claro por que o resultado é bom. Pode ser que a busca realmente tenha encontrado o parágrafo certo. Ou pode ser que o modelo base simplesmente tenha memorizado esses fatos durante o treinamento e respondido de cabeça. Imagine que você está testando um suporte que deveria consultar a sua base de conhecimento, mas ele responde de memória. O teste mostrará "excelente", mesmo que a busca nem funcione.

Os autores resumem tudo em uma formulação: o conjunto de teste não é independente dos dados de treinamento. A solução proposta é direta: construir o benchmark com conhecimentos que o modelo comprovadamente não viu. Para isso, são necessárias três partes: um corpus de documentos atualizado regularmente, a geração automática de pares "pergunta — resposta" e um sistema de avaliação único e público.

Como o DRAGOn cria perguntas a partir de notícias

O pipeline é sequencial, e cada etapa pode ser reproduzida.

Primeiro, parsers carregam textos de fontes externas. No artigo, são agregadores de notícias, mas a abordagem não se limita a notícias. Em seguida, o Llama 3.3 70B Instruct extrai dos textos fatos na forma de triplas "sujeito — relação — objeto", por exemplo "empresa X — adquiriu — startup Y".

Depois vem a operação mais importante para a pureza do teste. Cada fato é verificado pela API da Wikidata. Se ele já estiver lá, é descartado, porque o modelo poderia perfeitamente conhecê-lo. Depois disso, o mesmo Llama normaliza os nomes das entidades e das relações, e só os fatos novos entram no grafo.

A partir do grafo, são montadas perguntas de quatro tipos:

  • com um único fato: "Quem dirige a SpaceX?";
  • com lista de respostas: "Para quais filmes Hans Zimmer compôs a trilha sonora?";
  • com cadeia de fatos, em que a entidade intermediária fica oculta na pergunta: "Em que país fica a empresa que vendeu 2139 carros em 2023?";
  • com interseção de condições, em que a resposta é a entidade comum: "Quem se apresentou no M-bar e encontrou Dmitri Dibrov?".

Em seguida, vem uma limpeza em várias etapas. Um modelo elimina erros gramaticais e formulações pouco naturais. Uma biblioteca de NER verifica as entidades nomeadas. Modelos pequenos tentam responder sem contexto e, se conseguirem, a pergunta é removida: ela é fácil demais e não exige busca. A avaliação principal é feita pelo POLLUX 7B no papel de juiz LLM, que dá de 0 a 2 pontos por clareza, naturalidade, correção e dependência do contexto. O conjunto final contém 150 perguntas por categoria.

Os autores compararam o juiz com anotadores humanos. O POLLUX 7B mostrou alta precisão, mas completude moderada: ele seleciona bem as perguntas boas, mas às vezes rejeita perguntas normais. Para um benchmark, isso é aceitável, pois é preferível ter menos perguntas, mas de qualidade comprovada.

O que os testes mostraram e onde estão as limitações

A busca e a geração foram avaliadas separadamente. Para a busca, mediu-se com que frequência o documento correto aparece no top-N dos resultados e em que posição ele fica (métrica MRR). Os melhores resultados vieram das combinações com Qwen3 Embedding 8B e E5 Mistral 7B Instruct. Para a geração, usaram-se ROUGE-2 e ROUGE-L, ou seja, a coincidência de palavras e expressões com a resposta de referência. O foco principal foi a avaliação pelo POLLUX 7B: o quanto a resposta é correta, completa e apoiada no contexto encontrado.

A conclusão é simples: com o contexto que você fornece, você obtém a resposta correspondente. Sistemas com busca forte também deram as melhores respostas. Na prática, isso significa que, ao depurar um RAG, convém verificar primeiro o retriever e os embeddings, e não trocar o modelo gerador.

Os autores também lançaram um leaderboard público. Os resultados são enviados por meio de uma biblioteca específica. Parte dos dados fica oculta para verificação, para que a comparação seja justa.

O trabalho tem limitações. Por enquanto, o benchmark cobre apenas notícias em russo, e o fluxo de notícias é diferente de textos médicos, jurídicos ou científicos. A arquitetura permite levar a abordagem a outros domínios, mas ainda não existem versões prontas para eles. Além disso, o juiz LLM acelera o trabalho, mas não substitui um especialista: ele continua sendo excessivamente cauteloso.

Conclusão prática para equipes que desenvolvem RAG em russo. Se você tem um fluxo próprio de documentos atualizados (suporte, base de conhecimento, notícias do setor), é possível repetir o esquema: extrair fatos, descartar os já conhecidos pelo modelo e montar perguntas apenas com base no que é novo. Assim, o teste mede o trabalho da busca, e não a memória do modelo.

História

Perguntas frequentes sobre a notícia

Por que os benchmarks comuns enganam sobre RAG?

A maioria dos testes para RAG tem fraquezas em comum. O corpus de documentos é fixo e, com o tempo, deixa de refletir o mundo real. As perguntas e respostas costumam ser anotadas manualmente, o que é demorado e caro. Além disso, é difícil entender qual componente do sistema influenciou o resultado. Mas o problema mais desagradável é outro: não está claro por que o resultado é bom. Pode ser que a busca realmente tenha encontrado o parágrafo certo.

Como o DRAGOn cria perguntas a partir de notícias?

O pipeline é sequencial, e cada etapa pode ser reproduzida. Primeiro, parsers carregam textos de fontes externas. No artigo, são agregadores de notícias, mas a abordagem não se limita a notícias. Em seguida, o Llama 3.3 70B Instruct extrai dos textos fatos na forma de triplas "sujeito — relação — objeto", por exemplo "empresa X — adquiriu — startup Y". Depois vem a operação mais importante para a pureza do teste. Cada fato é verificado pela API da Wikidata.

O que os testes mostraram e onde estão as limitações?

A busca e a geração foram avaliadas separadamente. Para a busca, mediu-se com que frequência o documento correto aparece no top-N dos resultados e em que posição ele fica (métrica MRR). Os melhores resultados vieram das combinações com Qwen3 Embedding 8B e E5 Mistral 7B Instruct. Para a geração, usaram-se ROUGE-2 e ROUGE-L, ou seja, a coincidência de palavras e expressões com a resposta de referência.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…