Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarRaft→ original

No RAG, o BM25 clássico encontrou a resposta em 72% das consultas; a busca neural, em 49,7%

Quando um bot RAG não encontra um processo pelo número ou uma pessoa pelo sobrenome, a culpa muitas vezes é da busca neural: ela capta o sentido, mas confunde palavras raras. No teste EntityQuestions, com perguntas sobre nomes específicos, o BM25 (a busca clássica por palavras) encontrou a resposta em 72% dos casos, e a busca neural, em 49,7%. Por isso, em produção, mantenha o BM25 ao lado dos embeddings e combine as pontuações dos dois por soma ponderada.

Processado por IA de Raft; editado por Hamidun News
No RAG, o BM25 clássico encontrou a resposta em 72% das consultas; a busca neural, em 49,7%
Fonte: Raft. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalRaft ↗
Editor-chefe
Dado-chave #1As pontuações do BM25 de bibliotecas diferentes não são comparáveis: cada uma usa a própria fórmula
Dado-chave #2No Lucene, a partir da versão 8, o multiplicador (k1+1) foi removido do numerador da fórmula
Dado-chave #3Ajuste os limiares dentro de uma única biblioteca e de uma única versão

Imagine um bot RAG para documentos jurídicos: primeiro ele busca na base os trechos adequados e, depois, responde ao usuário com base neles. Você pergunta sobre um processo específico pelo número, ou sobre uma pessoa pelo sobrenome, e a busca vetorial (neural) devolve textos "parecidos em significado", mas não os textos exatos. O algoritmo clássico BM25, que procura por correspondência de palavras e pondera a raridade de cada uma, se sai melhor nessas consultas.

No teste EntityQuestions, que traz perguntas sobre nomes e entidades específicas, o BM25 encontrou a resposta certa em 72% dos casos, e a busca neural, em apenas 49,7%. A análise de engenharia, escrita por um arquiteto de IA que desenvolveu busca em documentos jurídicos (o projeto "НейроЮрист"), mostra como tratar o BM25 como uma estrutura de dados e o que fazer com ele em produção.

BM25 como uma tabela pré-calculada

Imagine que, para cada palavra de cada documento, já exista uma nota indicando o quanto essa palavra é importante para aquele texto. A busca, então, se resume a somar as notas prontas das palavras da consulta. É por isso que o BM25 é tão rápido.

Tecnicamente, o peso do par "palavra — documento" depende da frequência da palavra no documento, do tamanho do documento e dos contadores globais do corpus, mas não depende da consulta. Logo, ele pode ser calculado na indexação e armazenado em uma matriz esparsa. A busca passa a ser uma seleção de colunas pelos tokens da consulta, seguida da soma delas. O artigo traz um exemplo mínimo em Python com numpy e scipy: cerca de 20 linhas, com a variante de IDF (a pontuação de raridade da palavra) do Lucene e seleção dos melhores resultados via argpartition.

Esse esquema tem uma desvantagem, só uma, mas incômoda: as pontuações dependem da coleção inteira. Se você adiciona ou remove um documento, formalmente mudam os pesos de todos os outros. É preciso reconstruir a matriz ou conviver, de forma consciente, com a deriva das estatísticas, como a do tamanho médio dos documentos. Em um sistema distribuído, entra ainda o sharding: a estatística local de um shard difere da global, e as pontuações vindas de nós diferentes se misturam de forma incorreta. O Elasticsearch resolve isso com o modo dfs_query_then_fetch, ao custo de uma rodada extra de rede, mas, se o corpus cabe em um único nó, é mais simples manter um só shard.

"BM25" não é uma fórmula única

Não existe um padrão único. Kamphuis e coautores (ECIR 2020) compararam oito variantes comuns: a clássica de Robertson, a do Lucene, ATIRE, BM25L, BM25+ e outras. Elas divergem no cálculo do IDF, na normalização da frequência da palavra e no tratamento de valores negativos (que surgem quando a palavra aparece em mais da metade dos documentos).

Consequências práticas:

  • Os mesmos documentos recebem números diferentes em bibliotecas diferentes, então comparar esses valores entre sistemas não faz sentido.
  • No Lucene, a partir da versão 8, o multiplicador (k1+1) foi removido do numerador. A ordem dos documentos dentro de uma consulta não muda, mas as pontuações absolutas mudam, e isso quebra a comparação entre versões.
  • A pontuação do BM25 não é uma probabilidade: não tem limite superior e cresce com o tamanho da consulta. Um limiar fixo do tipo "acima de 12 é relevante" inevitavelmente vai falhar. Use limiares relativos: uma fração da pontuação máxima ou um valor normalizado.
  • Em embedders esparsos que convertem palavras em índices por hashing, vocabulários grandes com números de processos e dados cadastrais geram colisões: palavras diferentes são fundidas em uma mesma coordenada. Em domínios assim, é melhor adotar logo um vocabulário explícito.

O que mostram os benchmarks e como combinar com a rede neural

Os números já apareceram acima: no EntityQuestions, o BM25 encontrou a resposta certa em 72% dos casos, e a busca neural, em 49,7%. As redes neurais lidam mal com o que é raro (sobrenomes, números de processos, códigos de produto) e "preferem" trechos curtos; em textos longos, o desempenho cai.

Para o híbrido, o autor recomenda combinar BM25 e rede neural por soma ponderada das pontuações, e não por ranking (o método RRF, que considera apenas a posição do documento na lista). Há uma ressalva importante: se você fez fine-tuning do embedder com seus dados, a combinação pode piorar até que os pesos sejam ajustados de novo. Por isso, a cada troca de modelo é preciso recalcular os pesos, e não simplesmente aproveitar os da versão anterior.

Outra conclusão: a qualidade da busca depende mais da preparação do texto (morfologia, tokenização e divisão em trechos). Variantes exóticas da fórmula, como BM25L e BM25+, rendem bem menos. Em russo, com seus casos gramaticais, isso é ainda mais evidente: se as palavras não forem reduzidas à forma básica, "договора" e "договору" serão palavras diferentes para o índice.

O que fazer na prática

  1. Escolha uma biblioteca de BM25, fixe a versão e ajuste os limiares e os pesos do híbrido dentro dela.
  2. Ajuste o parâmetro k1 e as demais configurações separadamente; caso contrário, você estará comparando um modelo ajustado com um não ajustado.
  3. Primeiro melhore a tokenização e a divisão em trechos, e só depois pense em variantes da fórmula.
  4. Planeje a reconstrução do índice ou aceite a deriva das estatísticas quando houver atualizações frequentes.
  5. Recalcule os pesos do híbrido após o fine-tuning do embedder.

Limitação do material: trata-se do ponto de vista de um único profissional, em um domínio específico de textos jurídicos, e os números do EntityQuestions não substituem testes na sua própria coleção. Ainda assim, como checklist do "que quebra na passagem do notebook para a produção", a análise é útil para qualquer equipe cujo RAG perde identificadores exatos.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre BM25 como uma tabela pré-calculada?

Imagine que, para cada palavra de cada documento, já exista uma nota indicando o quanto essa palavra é importante para aquele texto. A busca, então, se resume a somar as notas prontas das palavras da consulta. É por isso que o BM25 é tão rápido. Tecnicamente, o peso do par "palavra — documento" depende da frequência da palavra no documento, do tamanho do documento e dos contadores globais do corpus, mas não depende da consulta. Logo, ele pode ser calculado na indexação e armazenado em uma matriz esparsa.

O que se sabe sobre "BM25" não é uma fórmula única?

Não existe um padrão único. Kamphuis e coautores (ECIR 2020) compararam oito variantes comuns: a clássica de Robertson, a do Lucene, ATIRE, BM25L, BM25+ e outras. Elas divergem no cálculo do IDF, na normalização da frequência da palavra e no tratamento de valores negativos (que surgem quando a palavra aparece em mais da metade dos documentos). Consequências práticas: Os mesmos documentos recebem números diferentes em bibliotecas diferentes, então comparar esses valores entre sistemas não faz sentido.

O que mostram os benchmarks e como combinar com a rede neural?

Os números já apareceram acima: no EntityQuestions, o BM25 encontrou a resposta certa em 72% dos casos, e a busca neural, em 49,7%. As redes neurais lidam mal com o que é raro (sobrenomes, números de processos, códigos de produto) e "preferem" trechos curtos; em textos longos, o desempenho cai. Para o híbrido, o autor recomenda combinar BM25 e rede neural por soma ponderada das pontuações, e não por ranking (o método RRF, que considera apenas a posição do documento na lista).

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…