GeopoliticalQA: bge-m3 supera embeddings comerciais em 5 525 perguntas sobre relatórios

Um grupo de pesquisadores publicou no arXiv o GeopoliticalQA, um benchmark para sistemas de RAG que respondem a perguntas sobre relatórios analíticos geopolíticos e estratégicos. O conjunto reúne 415 relatórios abertos e 5 525 pares de «pergunta e resposta», cada um vinculado a um documento específico. Dá cerca de 13 perguntas por relatório. O principal resultado: no nível de chunk, a qualidade da busca não cresce com o tamanho do modelo de embedding. O bge-m3, modelo aberto de porte médio, igualou modelos uma ordem de magnitude maiores e superou as APIs comerciais de embedding. A geração, por sua vez, continua difícil mesmo quando o modelo recebe os trechos corretos.

O que há no benchmark

Relatórios analíticos não combinam bem com o RAG padrão. Os formatos variam, a estrutura é heterogênea e as conclusões mais valiosas muitas vezes se espalham por várias seções, sem caber em um único parágrafo. Os autores dividiram as perguntas em quatro tipos: factuais, de inferência (inferential), comparativas e voltadas a riscos.

As perguntas foram geradas por um pipeline document-aware. Primeiro ele cria um perfil do relatório, ou seja, identifica sobre o que o documento trata e como está organizado, e só depois gera as perguntas. Assim, elas dependem menos de um trecho aleatório do texto. A qualidade do conjunto foi verificada de duas formas: por anotação de especialistas e por um protocolo LLM-as-judge, em que um modelo de linguagem atribui a nota.

• Corpus: 415 relatórios geopolíticos e estratégicos abertos
• Anotação: 5 525 perguntas vinculadas a documentos
• Tipos de pergunta: factuais, de inferência, comparativas, de risco
• Busca: 15 sistemas
• Geração: seis LLMs open-weight
• Verificação de qualidade: especialistas e LLM-as-judge

Busca: escala não resolve

No nível de documento, ou seja, na escolha do relatório certo, os sistemas apresentam resultados próximos. As diferenças aparecem no nível de chunk, quando é preciso encontrar um trecho específico dentro de um texto longo. Aqui, segundo os autores, a qualidade não é determinada pela escala do embedder. O bge-m3 fica no mesmo nível de modelos uma ordem de magnitude maiores e supera as APIs comerciais de embedding.

O resumo do artigo não traz os nomes de todos os sistemas testados nem os valores concretos das métricas. As diferenças exatas só podem ser conferidas nas tabelas do próprio artigo. Mas a direção é clara: uma API paga não garante a melhor busca em um corpus especializado.

Geração: o teto é mais baixo do que o esperado

Para a geração, os autores deram a seis LLMs abertos os trechos de referência, eliminando assim os erros de busca. Mesmo assim, os modelos se saem mal, principalmente nas perguntas de inferência e de avaliação de riscos. As perguntas factuais são mais simples: a resposta está no texto. Já inferências e riscos exigem relacionar afirmações, pesar argumentos e formular um juízo que pode não aparecer literalmente no relatório. É justamente por esse tipo de resposta que se leem relatórios analíticos.

Se a resposta é ruim com contexto perfeito, o problema não está no retriever. Ajustar a busca não resolve essa questão.

O que as equipes que constroem RAG devem fazer

Primeiro: não escolha o embedder pelo tamanho ou pelo preço. Rode vários modelos no seu próprio corpus, incluindo o bge-m3 como baseline self-hosted. Os dados, nesse caso, permanecem dentro do seu perímetro, o que importa para documentos sensíveis.

Segundo: avalie busca e geração separadamente. O modo com trechos de referência mostra o teto do gerador e ajuda a entender onde exatamente o sistema falha.

Terceiro: separe as métricas por tipo de pergunta. A média geral esconde o fracasso nas perguntas de risco e de inferência. Para elas, vale manter a verificação humana.

Há limitações. O corpus é formado por relatórios abertos, e não por materiais fechados, e parte da validação se apoia em LLM-as-judge, com os vieses que esse método carrega. Ainda assim, como benchmark para comparar abordagens de RAG em textos analíticos, ele é útil.