Benchmark DRAGOn da MWS AI e da Sber testa RAG com notícias recentes: 150 perguntas por categoria
RAG é quando o modelo busca dados na sua base antes de responder, e avaliá-lo de forma honesta é difícil: o modelo pode ter visto os testes antigos durante o treinamento. O DRAGOn, da MWS AI e da Sber, pega notícias recentes, extrai fatos e descarta os que já existem na Wikidata. Com os restantes, são montadas perguntas em quatro tipos, com as 150 melhores por categoria. Por isso, a comparação de RAG faz mais sentido com aquilo que o modelo não sabia.
Processado por IA de Habr: MTS AI; editado por Hamidun News
Hoje, um sistema RAG pode ser montado em uma tarde: conectar um banco vetorial, escolher um modelo de embeddings e acrescentar um LLM. RAG (Retrieval-Augmented Generation) significa que, antes de responder, o modelo primeiro busca os documentos necessários na base conectada e os acrescenta à consulta. Já responder se tudo isso funciona bem é bem mais complicado.
Esse problema é tratado no artigo DRAGOn: Designing RAG On Periodically Updated Corpus. Os autores, da MWS AI, da Sber e de várias universidades, apresentaram o trabalho na EACL 2026. O DRAGOn é um benchmark, ou seja, um conjunto de perguntas de teste que é montado automaticamente a partir de notícias recentes.
Depois de todos os filtros, restam 150 perguntas por categoria. A ideia é avaliar a busca, e não a memória do modelo.
Por que os benchmarks comuns enganam sobre RAG
A maioria dos testes para RAG tem fraquezas em comum. O corpus de documentos é fixo e, com o tempo, deixa de refletir o mundo real. As perguntas e respostas costumam ser anotadas manualmente, o que é demorado e caro. Além disso, é difícil entender qual componente do sistema influenciou o resultado.
Mas o problema mais desagradável é outro: não está claro por que o resultado é bom. Pode ser que a busca realmente tenha encontrado o parágrafo certo. Ou pode ser que o modelo base simplesmente tenha memorizado esses fatos durante o treinamento e respondido de cabeça. Imagine que você está testando um suporte que deveria consultar a sua base de conhecimento, mas ele responde de memória. O teste mostrará "excelente", mesmo que a busca nem funcione.
Os autores resumem tudo em uma formulação: o conjunto de teste não é independente dos dados de treinamento. A solução proposta é direta: construir o benchmark com conhecimentos que o modelo comprovadamente não viu. Para isso, são necessárias três partes: um corpus de documentos atualizado regularmente, a geração automática de pares "pergunta — resposta" e um sistema de avaliação único e público.
Como o DRAGOn cria perguntas a partir de notícias
O pipeline é sequencial, e cada etapa pode ser reproduzida.
Primeiro, parsers carregam textos de fontes externas. No artigo, são agregadores de notícias, mas a abordagem não se limita a notícias. Em seguida, o Llama 3.3 70B Instruct extrai dos textos fatos na forma de triplas "sujeito — relação — objeto", por exemplo "empresa X — adquiriu — startup Y".
Depois vem a operação mais importante para a pureza do teste. Cada fato é verificado pela API da Wikidata. Se ele já estiver lá, é descartado, porque o modelo poderia perfeitamente conhecê-lo. Depois disso, o mesmo Llama normaliza os nomes das entidades e das relações, e só os fatos novos entram no grafo.
A partir do grafo, são montadas perguntas de quatro tipos:
- com um único fato: "Quem dirige a SpaceX?";
- com lista de respostas: "Para quais filmes Hans Zimmer compôs a trilha sonora?";
- com cadeia de fatos, em que a entidade intermediária fica oculta na pergunta: "Em que país fica a empresa que vendeu 2139 carros em 2023?";
- com interseção de condições, em que a resposta é a entidade comum: "Quem se apresentou no M-bar e encontrou Dmitri Dibrov?".
Em seguida, vem uma limpeza em várias etapas. Um modelo elimina erros gramaticais e formulações pouco naturais. Uma biblioteca de NER verifica as entidades nomeadas. Modelos pequenos tentam responder sem contexto e, se conseguirem, a pergunta é removida: ela é fácil demais e não exige busca. A avaliação principal é feita pelo POLLUX 7B no papel de juiz LLM, que dá de 0 a 2 pontos por clareza, naturalidade, correção e dependência do contexto. O conjunto final contém 150 perguntas por categoria.
Os autores compararam o juiz com anotadores humanos. O POLLUX 7B mostrou alta precisão, mas completude moderada: ele seleciona bem as perguntas boas, mas às vezes rejeita perguntas normais. Para um benchmark, isso é aceitável, pois é preferível ter menos perguntas, mas de qualidade comprovada.
O que os testes mostraram e onde estão as limitações
A busca e a geração foram avaliadas separadamente. Para a busca, mediu-se com que frequência o documento correto aparece no top-N dos resultados e em que posição ele fica (métrica MRR). Os melhores resultados vieram das combinações com Qwen3 Embedding 8B e E5 Mistral 7B Instruct. Para a geração, usaram-se ROUGE-2 e ROUGE-L, ou seja, a coincidência de palavras e expressões com a resposta de referência. O foco principal foi a avaliação pelo POLLUX 7B: o quanto a resposta é correta, completa e apoiada no contexto encontrado.
A conclusão é simples: com o contexto que você fornece, você obtém a resposta correspondente. Sistemas com busca forte também deram as melhores respostas. Na prática, isso significa que, ao depurar um RAG, convém verificar primeiro o retriever e os embeddings, e não trocar o modelo gerador.
Os autores também lançaram um leaderboard público. Os resultados são enviados por meio de uma biblioteca específica. Parte dos dados fica oculta para verificação, para que a comparação seja justa.
O trabalho tem limitações. Por enquanto, o benchmark cobre apenas notícias em russo, e o fluxo de notícias é diferente de textos médicos, jurídicos ou científicos. A arquitetura permite levar a abordagem a outros domínios, mas ainda não existem versões prontas para eles. Além disso, o juiz LLM acelera o trabalho, mas não substitui um especialista: ele continua sendo excessivamente cauteloso.
Conclusão prática para equipes que desenvolvem RAG em russo. Se você tem um fluxo próprio de documentos atualizados (suporte, base de conhecimento, notícias do setor), é possível repetir o esquema: extrair fatos, descartar os já conhecidos pelo modelo e montar perguntas apenas com base no que é novo. Assim, o teste mede o trabalho da busca, e não a memória do modelo.
- 21 de nov. de 2026Signal fecha as conversas para agentes de IA: bloqueia capturas de tela no iOS 27 e no Android
- 21 de nov. de 2026CLI-Anything учит ИИ-агентов управлять GIMP и Blender и набрал 384 звезды за день
- 21 de nov. de 2026Signal bloqueia capturas de tela no iOS 27 e no Android para impedir que agentes de IA leiam conversas
- 21 de nov. de 2026Google Wallet chega ao iPhone: Gemini compra dentro do orçamento, mas sem pagamento por aproximação na caixa
Perguntas frequentes sobre a notícia
Por que os benchmarks comuns enganam sobre RAG?
A maioria dos testes para RAG tem fraquezas em comum. O corpus de documentos é fixo e, com o tempo, deixa de refletir o mundo real. As perguntas e respostas costumam ser anotadas manualmente, o que é demorado e caro. Além disso, é difícil entender qual componente do sistema influenciou o resultado. Mas o problema mais desagradável é outro: não está claro por que o resultado é bom. Pode ser que a busca realmente tenha encontrado o parágrafo certo.
Como o DRAGOn cria perguntas a partir de notícias?
O pipeline é sequencial, e cada etapa pode ser reproduzida. Primeiro, parsers carregam textos de fontes externas. No artigo, são agregadores de notícias, mas a abordagem não se limita a notícias. Em seguida, o Llama 3.3 70B Instruct extrai dos textos fatos na forma de triplas "sujeito — relação — objeto", por exemplo "empresa X — adquiriu — startup Y". Depois vem a operação mais importante para a pureza do teste. Cada fato é verificado pela API da Wikidata.
O que os testes mostraram e onde estão as limitações?
A busca e a geração foram avaliadas separadamente. Para a busca, mediu-se com que frequência o documento correto aparece no top-N dos resultados e em que posição ele fica (métrica MRR). Os melhores resultados vieram das combinações com Qwen3 Embedding 8B e E5 Mistral 7B Instruct. Para a geração, usaram-se ROUGE-2 e ROUGE-L, ou seja, a coincidência de palavras e expressões com a resposta de referência.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.