Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DLanceDB Blog→ original

Reranker da Cohere eleva a precisão da busca híbrida em RAG acima de 90% em teste da LanceDB

Em RAG, a busca costuma encontrar o parágrafo certo, mas o coloca abaixo das primeiras posições, e ele acaba fora do prompt. A LanceDB testou o reranker Cohere v3, que reordena os resultados em uma segunda etapa. A fração de consultas em que o trecho correto ficou no topo na busca híbrida (vetores mais palavras-chave) passou de 90% — de 23% a 49% acima da base. Por isso, vale conectar um reranker logo de início à busca híbrida em RAG.

Processado por IA de LanceDB Blog; editado por Hamidun News
Reranker da Cohere eleva a precisão da busca híbrida em RAG acima de 90% em teste da LanceDB
Fonte: LanceDB Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLanceDB Blog ↗
Editor-chefe
O Cohere v3 quase não superou a v2as duas versões ficaram em torno de 90%, um teto de qualidade
Dado-chave #2Na busca puramente vetorial, o reranker deu +8% (BGE) e +11% (ColBERT)
Testemais de 800 pares «pergunta — contexto» do relatório da Uber de 2021

Quem já montou um RAG conhece a situação incômoda: a busca encontrou o parágrafo necessário, mas o colocou em sétimo lugar, e só os três primeiros resultados foram para o prompt do modelo. A resposta sai errada, embora os dados certos estivessem na base. A solução é o reranking, uma segunda passada que reordena os resultados encontrados por um critério diferente, que não necessariamente coincide com a pontuação da própria busca.

A equipe da LanceDB publicou um benchmark comparando vários rerankers. A estrela do teste é o novo modelo Cohere Rerank v3. Na busca híbrida, que combina similaridade vetorial com busca por palavras-chave, ele elevou a fração de acertos para acima de 90%.

Aqui, «acerto» significa algo simples: o trecho de texto necessário ficou entre os primeiros K resultados. Em comparação com a busca vetorial comum, isso representa cerca de 23% e 49% a mais para os dois modelos de embedding testados.

Como se conecta

No LanceDB, o reranking está integrado a todos os tipos de busca: vetorial, de texto completo e híbrida. Para usá-lo, basta criar um objeto de reranker (por exemplo, CohereReranker com uma chave de API) e passá-lo na consulta pelo método rerank. Depois, o resultado pode ser obtido como uma tabela pandas. O código dos três modos é quase idêntico, então alternar entre eles e comparar rerankers é fácil.

Como o teste foi feito

Avaliou-se apenas a qualidade da busca, e não o RAG como um todo. A métrica é o hit-rate: se o trecho esperado entrou no top-K dos resultados. Trata-se de uma versão simplificada das métricas habituais recall@k e mAP. A referência de comparação era a busca vetorial comum, sem reranker.

Há um detalhe importante. Quando o reranker é aplicado à busca vetorial, primeiro se pegam o dobro de candidatos (2K) e só depois se mantêm os top-K após a reordenação. Sem essa folga, o reranker não teria o que reordenar, e o efeito seria imperceptível.

Foram usados dois conjuntos de dados. O primeiro é o Uber 10K: mais de 800 pares «pergunta — contexto» extraídos do relatório anual da Uber de 2021, entregue à SEC. Ele pode ser baixado pelo LlamaIndex. O segundo é um conjunto baseado em um artigo de revisão sobre grandes modelos de linguagem. Os testes usaram dois modelos de embedding: BGE e ColBERT. Os rerankers comparados foram ColBERT, Cohere v2 e Cohere v3. O texto também menciona cross-encoders e a combinação linear de pontuações, e o Cohere superou ambos.

Os resultados

  • Busca vetorial + reranker. Os resultados dos dois modelos de embedding são semelhantes. O ColBERT, atuando como embedder e reranker ao mesmo tempo, fica um pouco acima da base. Os rerankers da Cohere apresentaram a maior precisão: apenas reordenando a lista ampliada, deram cerca de +8% para o BGE e +11% para o ColBERT.
  • Busca híbrida + reranker. Aqui a Cohere volta a liderar nos dois casos: a fração de acertos passou de 90%. Isso representa cerca de +23% e +49% em relação à versão base, para as duas funções de embedding.
  • Segundo conjunto de dados. O quadro é o mesmo: a Cohere foi a melhor tanto com o ColBERT quanto com o BGE, e a combinação do reranker ColBERT com o embedding ColBERT ficou um pouco acima da base. Segundo os autores, em outros conjuntos de dados semelhantes a Cohere também ficou em primeiro lugar.

v3 contra v2

A conclusão inesperada: entre o Cohere v3 e o v2, nesses dados, a diferença é insignificante. As duas versões ficam em torno de 90%, ou seja, batem no teto de qualidade. Os autores avaliam que esses conjuntos de dados simplesmente não servem para separar os modelos.

A v3 pode se destacar mais em outras tarefas. No anúncio, a Cohere comparou os rerankers com dados JSON semiestruturados, e a busca ali usava BM25 (no LanceDB, busca de texto completo), e não vetores. Nessas condições, a v3 é claramente melhor que a v2. Essas medições da LanceDB não entraram no artigo, mas a equipe planeja abordá-las nas próximas partes. Também há promessa de casos mais complexos, como busca estruturada e semiestruturada.

Outra vantagem declarada da v3 é a velocidade: a API deve funcionar visivelmente mais rápido que a v2. Porém, essa comparação foi tirada do blog da Cohere, e os autores não a mediram por conta própria.

O que fazer na prática

Se o seu RAG usa apenas busca vetorial, o reranker é uma das formas mais baratas de melhorar a qualidade dos resultados. Comece com a busca híbrida e o reranker da Cohere e, depois, verifique o que a v3 traz no seu tipo de dado. Para relatórios e artigos, é improvável esperar um salto em relação à v2. Para JSON e documentos semiestruturados, a diferença, segundo a Cohere, pode ser maior.

Há também limitações. Trata-se de um benchmark do próprio fornecedor da base vetorial, feito com dois conjuntos de dados, e a métrica é simplificada: ela mostra se o texto necessário entrou nos resultados, mas não a qualidade das respostas finais. Por isso, antes de implantar, repita o mesmo hit-rate com os seus próprios documentos.

História

Perguntas frequentes sobre a notícia

Como se conecta?

No LanceDB, o reranking está integrado a todos os tipos de busca: vetorial, de texto completo e híbrida. Para usá-lo, basta criar um objeto de reranker (por exemplo, CohereReranker com uma chave de API) e passá-lo na consulta pelo método rerank. Depois, o resultado pode ser obtido como uma tabela pandas. O código dos três modos é quase idêntico, então alternar entre eles e comparar rerankers é fácil.

Como o teste foi feito?

Avaliou-se apenas a qualidade da busca, e não o RAG como um todo. A métrica é o hit-rate: se o trecho esperado entrou no top-K dos resultados. Trata-se de uma versão simplificada das métricas habituais recall@k e mAP. A referência de comparação era a busca vetorial comum, sem reranker. Há um detalhe importante. Quando o reranker é aplicado à busca vetorial, primeiro se pegam o dobro de candidatos (2K) e só depois se mantêm os top-K após a reordenação.

O que se sabe sobre Os resultados?

Busca vetorial + reranker. Os resultados dos dois modelos de embedding são semelhantes. O ColBERT, atuando como embedder e reranker ao mesmo tempo, fica um pouco acima da base. Os rerankers da Cohere apresentaram a maior precisão: apenas reordenando a lista ampliada, deram cerca de +8% para o BGE e +11% para o ColBERT. Busca híbrida + reranker. Aqui a Cohere volta a liderar nos dois casos: a fração de acertos passou de 90%.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…