No RAG, o BM25 clássico encontrou a resposta em 72% das consultas; a busca neural, em 49,7%
Quando um bot RAG não encontra um processo pelo número ou uma pessoa pelo sobrenome, a culpa muitas vezes é da busca neural: ela capta o sentido, mas confunde palavras raras. No teste EntityQuestions, com perguntas sobre nomes específicos, o BM25 (a busca clássica por palavras) encontrou a resposta em 72% dos casos, e a busca neural, em 49,7%. Por isso, em produção, mantenha o BM25 ao lado dos embeddings e combine as pontuações dos dois por soma ponderada.
Processado por IA de Raft; editado por Hamidun News
Imagine um bot RAG para documentos jurídicos: primeiro ele busca na base os trechos adequados e, depois, responde ao usuário com base neles. Você pergunta sobre um processo específico pelo número, ou sobre uma pessoa pelo sobrenome, e a busca vetorial (neural) devolve textos "parecidos em significado", mas não os textos exatos. O algoritmo clássico BM25, que procura por correspondência de palavras e pondera a raridade de cada uma, se sai melhor nessas consultas.
No teste EntityQuestions, que traz perguntas sobre nomes e entidades específicas, o BM25 encontrou a resposta certa em 72% dos casos, e a busca neural, em apenas 49,7%. A análise de engenharia, escrita por um arquiteto de IA que desenvolveu busca em documentos jurídicos (o projeto "НейроЮрист"), mostra como tratar o BM25 como uma estrutura de dados e o que fazer com ele em produção.
BM25 como uma tabela pré-calculada
Imagine que, para cada palavra de cada documento, já exista uma nota indicando o quanto essa palavra é importante para aquele texto. A busca, então, se resume a somar as notas prontas das palavras da consulta. É por isso que o BM25 é tão rápido.
Tecnicamente, o peso do par "palavra — documento" depende da frequência da palavra no documento, do tamanho do documento e dos contadores globais do corpus, mas não depende da consulta. Logo, ele pode ser calculado na indexação e armazenado em uma matriz esparsa. A busca passa a ser uma seleção de colunas pelos tokens da consulta, seguida da soma delas. O artigo traz um exemplo mínimo em Python com numpy e scipy: cerca de 20 linhas, com a variante de IDF (a pontuação de raridade da palavra) do Lucene e seleção dos melhores resultados via argpartition.
Esse esquema tem uma desvantagem, só uma, mas incômoda: as pontuações dependem da coleção inteira. Se você adiciona ou remove um documento, formalmente mudam os pesos de todos os outros. É preciso reconstruir a matriz ou conviver, de forma consciente, com a deriva das estatísticas, como a do tamanho médio dos documentos. Em um sistema distribuído, entra ainda o sharding: a estatística local de um shard difere da global, e as pontuações vindas de nós diferentes se misturam de forma incorreta. O Elasticsearch resolve isso com o modo dfs_query_then_fetch, ao custo de uma rodada extra de rede, mas, se o corpus cabe em um único nó, é mais simples manter um só shard.
"BM25" não é uma fórmula única
Não existe um padrão único. Kamphuis e coautores (ECIR 2020) compararam oito variantes comuns: a clássica de Robertson, a do Lucene, ATIRE, BM25L, BM25+ e outras. Elas divergem no cálculo do IDF, na normalização da frequência da palavra e no tratamento de valores negativos (que surgem quando a palavra aparece em mais da metade dos documentos).
Consequências práticas:
- Os mesmos documentos recebem números diferentes em bibliotecas diferentes, então comparar esses valores entre sistemas não faz sentido.
- No Lucene, a partir da versão 8, o multiplicador (k1+1) foi removido do numerador. A ordem dos documentos dentro de uma consulta não muda, mas as pontuações absolutas mudam, e isso quebra a comparação entre versões.
- A pontuação do BM25 não é uma probabilidade: não tem limite superior e cresce com o tamanho da consulta. Um limiar fixo do tipo "acima de 12 é relevante" inevitavelmente vai falhar. Use limiares relativos: uma fração da pontuação máxima ou um valor normalizado.
- Em embedders esparsos que convertem palavras em índices por hashing, vocabulários grandes com números de processos e dados cadastrais geram colisões: palavras diferentes são fundidas em uma mesma coordenada. Em domínios assim, é melhor adotar logo um vocabulário explícito.
O que mostram os benchmarks e como combinar com a rede neural
Os números já apareceram acima: no EntityQuestions, o BM25 encontrou a resposta certa em 72% dos casos, e a busca neural, em 49,7%. As redes neurais lidam mal com o que é raro (sobrenomes, números de processos, códigos de produto) e "preferem" trechos curtos; em textos longos, o desempenho cai.
Para o híbrido, o autor recomenda combinar BM25 e rede neural por soma ponderada das pontuações, e não por ranking (o método RRF, que considera apenas a posição do documento na lista). Há uma ressalva importante: se você fez fine-tuning do embedder com seus dados, a combinação pode piorar até que os pesos sejam ajustados de novo. Por isso, a cada troca de modelo é preciso recalcular os pesos, e não simplesmente aproveitar os da versão anterior.
Outra conclusão: a qualidade da busca depende mais da preparação do texto (morfologia, tokenização e divisão em trechos). Variantes exóticas da fórmula, como BM25L e BM25+, rendem bem menos. Em russo, com seus casos gramaticais, isso é ainda mais evidente: se as palavras não forem reduzidas à forma básica, "договора" e "договору" serão palavras diferentes para o índice.
O que fazer na prática
- Escolha uma biblioteca de BM25, fixe a versão e ajuste os limiares e os pesos do híbrido dentro dela.
- Ajuste o parâmetro k1 e as demais configurações separadamente; caso contrário, você estará comparando um modelo ajustado com um não ajustado.
- Primeiro melhore a tokenização e a divisão em trechos, e só depois pense em variantes da fórmula.
- Planeje a reconstrução do índice ou aceite a deriva das estatísticas quando houver atualizações frequentes.
- Recalcule os pesos do híbrido após o fine-tuning do embedder.
Limitação do material: trata-se do ponto de vista de um único profissional, em um domínio específico de textos jurídicos, e os números do EntityQuestions não substituem testes na sua própria coleção. Ainda assim, como checklist do "que quebra na passagem do notebook para a produção", a análise é útil para qualquer equipe cujo RAG perde identificadores exatos.
- 7 de jul. de 2026VK cria o Discovery AI, busca neural para a base de conteúdo de bilhões de itens do Dzen e do VK Video
- 12 de nov. de 2026Elasticsearch 8.13 acelera a busca vetorial e adiciona reranqueamento com LTR
- 27 de out. de 2026Qdrant 1.20 faz busca por palavras sem embeddings e acelera filtros aninhados em 7–38 vezes
- 30 de abr. de 2026OpenAI e Grok perdem para um RAG personalizado no Agentic RAG Legal Challenge
Perguntas frequentes sobre a notícia
O que se sabe sobre BM25 como uma tabela pré-calculada?
Imagine que, para cada palavra de cada documento, já exista uma nota indicando o quanto essa palavra é importante para aquele texto. A busca, então, se resume a somar as notas prontas das palavras da consulta. É por isso que o BM25 é tão rápido. Tecnicamente, o peso do par "palavra — documento" depende da frequência da palavra no documento, do tamanho do documento e dos contadores globais do corpus, mas não depende da consulta. Logo, ele pode ser calculado na indexação e armazenado em uma matriz esparsa.
O que se sabe sobre "BM25" não é uma fórmula única?
Não existe um padrão único. Kamphuis e coautores (ECIR 2020) compararam oito variantes comuns: a clássica de Robertson, a do Lucene, ATIRE, BM25L, BM25+ e outras. Elas divergem no cálculo do IDF, na normalização da frequência da palavra e no tratamento de valores negativos (que surgem quando a palavra aparece em mais da metade dos documentos). Consequências práticas: Os mesmos documentos recebem números diferentes em bibliotecas diferentes, então comparar esses valores entre sistemas não faz sentido.
O que mostram os benchmarks e como combinar com a rede neural?
Os números já apareceram acima: no EntityQuestions, o BM25 encontrou a resposta certa em 72% dos casos, e a busca neural, em 49,7%. As redes neurais lidam mal com o que é raro (sobrenomes, números de processos, códigos de produto) e "preferem" trechos curtos; em textos longos, o desempenho cai. Para o híbrido, o autor recomenda combinar BM25 e rede neural por soma ponderada das pontuações, e não por ranking (o método RRF, que considera apenas a posição do documento na lista).
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.