Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoPaper científico · Para I+DLanceDB Blog→ original

El reranker de Cohere eleva la precisión de la búsqueda híbrida en RAG por encima del 90% en una prueba de LanceDB

En RAG, el buscador a menudo encuentra el párrafo correcto, pero lo coloca por debajo de los primeros puestos, y ese párrafo nunca llega al prompt. LanceDB probó el reranker Cohere v3, que reordena los resultados en un segundo paso. La proporción de consultas en las que el fragmento correcto entra en el top superó el 90 % en la búsqueda híbrida (vectores más palabras clave), entre un 23 % y un 49 % por encima de la base. Por eso conviene conectar un reranker desde el principio en cualquier RAG con búsqueda híbrida.

Procesado por IA desde LanceDB Blog; editado por Hamidun News
El reranker de Cohere eleva la precisión de la búsqueda híbrida en RAG por encima del 90% en una prueba de LanceDB
Fuente: LanceDB Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalLanceDB Blog ↗
Editor jefe
Cohere v3 apenas superó a v2ambas versiones se quedaron en un techo cercano al 90 %
Dato clave #2En la búsqueda puramente vectorial, el reranker aportó +8 % (BGE) y +11 % (ColBERT)
Pruebamás de 800 pares «pregunta — contexto» del informe anual de Uber de 2021

Cualquiera que haya construido un RAG conoce la situación incómoda: el buscador encontró el párrafo correcto, pero lo colocó en séptimo lugar, y al prompt del modelo solo llegaron los tres primeros resultados. La respuesta sale desacertada, aunque los datos necesarios estaban en la base. La solución es el reranking: un segundo paso que vuelve a ordenar lo encontrado según un criterio distinto, que no tiene por qué coincidir con la puntuación del propio buscador.

El equipo de LanceDB publicó un benchmark en el que comparó varios rerankers. El protagonista de la prueba es el nuevo modelo Cohere Rerank v3. En la búsqueda híbrida, que combina la similitud vectorial con la búsqueda por palabras clave, elevó la proporción de «aciertos» por encima del 90 %.

Aquí, un «acierto» significa algo sencillo: que el fragmento de texto correcto apareciera entre los primeros K resultados. Frente a la búsqueda vectorial habitual, esto supone aproximadamente un 23 % y un 49 % más, según los dos modelos de embeddings probados.

Cómo se conecta

En LanceDB, el reranking está integrado para todos los tipos de búsqueda: vectorial, de texto completo e híbrida. Para usarlo basta con crear un objeto reranker (por ejemplo, CohereReranker con una clave de API) y pasarlo a la consulta mediante el método rerank. Después, el resultado puede obtenerse como una tabla de pandas. El código para los tres modos es casi idéntico, así que es fácil cambiar entre ellos y comparar rerankers.

Cómo se hizo la prueba

Se evaluó solo la calidad de la búsqueda, no el RAG completo. La métrica es el hit-rate: si el fragmento esperado apareció entre los primeros K resultados. Es una versión simplificada de las métricas habituales recall@k y mAP. Como referencia de comparación se usó la búsqueda vectorial normal, sin reranker.

Hay un detalle importante. Cuando el reranker se aplica a la búsqueda vectorial, primero se toman el doble de candidatos (2K) y, tras reordenarlos, se conservan los K primeros. Sin ese margen, el reranker no tendría nada que reordenar y el efecto sería imperceptible.

Se usaron dos conjuntos de datos. El primero es Uber 10K: más de 800 pares «pregunta — contexto» basados en el informe anual de Uber de 2021, presentado ante la SEC. Puede descargarse a través de LlamaIndex. El segundo es un conjunto basado en un artículo de revisión sobre modelos de lenguaje de gran tamaño. Se probaron dos modelos de embeddings: BGE y ColBERT. Los rerankers comparados fueron ColBERT, Cohere v2 y Cohere v3. El texto también menciona los cross-encoders y la combinación lineal de puntuaciones; Cohere superó a ambos.

Resultados

  • Búsqueda vectorial + reranker. Los resultados de ambos modelos de embeddings son similares. ColBERT, como embedder y como reranker, funciona algo mejor que la base. Los rerankers de Cohere mostraron la mayor precisión: solo con reordenar la lista ampliada, aportaron aproximadamente +8 % con BGE y +11 % con ColBERT.
  • Búsqueda híbrida + reranker. Aquí Cohere vuelve a liderar en ambos casos: la proporción de aciertos superó el 90 %. Esto equivale a unos +23 % y +49 % sobre la variante base, para las dos funciones de embedding.
  • Segundo conjunto de datos. El patrón se repite: Cohere es el mejor tanto con ColBERT como con BGE, y el reranker ColBERT combinado con el embedding ColBERT queda algo por encima de la base. Según los autores, en otros conjuntos de datos parecidos Cohere también resultó el primero.

Cohere v3 frente a v2

El resultado inesperado es que, con estos datos, la diferencia entre Cohere v3 y v2 es mínima. Ambas versiones rondan el 90 %, es decir, chocan con el mismo techo de calidad. Los autores consideran que estos conjuntos de datos simplemente no sirven para distinguir entre los modelos.

Es probable que v3 se note más en otras tareas. En el anuncio de Cohere, los rerankers se compararon con datos semiestructurados en JSON, y allí la búsqueda se hacía con BM25 (en LanceDB, búsqueda de texto completo), no con vectores. En esas condiciones, v3 supera claramente a v2. LanceDB no incluyó estas mediciones en el artículo, pero planea analizarlas en próximas entregas, junto con casos más complejos: búsqueda estructurada y semiestructurada.

Otra ventaja declarada de v3 es la velocidad: su API debería funcionar notablemente más rápido que la de v2. Sin embargo, los autores tomaron esa comparación del blog de Cohere y no la midieron por su cuenta.

Qué hacer en la práctica

Si tu RAG solo usa búsqueda vectorial, el reranker es una de las formas más baratas de mejorar la calidad de los resultados. Empieza con la búsqueda híbrida y el reranker de Cohere, y después comprueba qué aporta v3 con tu tipo de datos. Para informes y artículos, es poco probable que haya un salto respecto a v2. Para JSON y documentos semiestructurados, la diferencia, según Cohere, podría ser mayor.

También hay limitaciones. Se trata de un benchmark del propio proveedor de la base vectorial, sobre dos conjuntos de datos, y la métrica es simplificada: indica si el texto correcto llegó a los resultados, pero no la calidad de las respuestas finales. Por eso, antes de implantarlo, conviene replicar el mismo hit-rate con tus propios documentos.

Historia

Preguntas frecuentes sobre la noticia

Cómo se conecta?

En LanceDB, el reranking está integrado para todos los tipos de búsqueda: vectorial, de texto completo e híbrida. Para usarlo basta con crear un objeto reranker (por ejemplo, CohereReranker con una clave de API) y pasarlo a la consulta mediante el método rerank. Después, el resultado puede obtenerse como una tabla de pandas. El código para los tres modos es casi idéntico, así que es fácil cambiar entre ellos y comparar rerankers.

Cómo se hizo la prueba?

Se evaluó solo la calidad de la búsqueda, no el RAG completo. La métrica es el hit-rate: si el fragmento esperado apareció entre los primeros K resultados. Es una versión simplificada de las métricas habituales recall@k y mAP. Como referencia de comparación se usó la búsqueda vectorial normal, sin reranker. Hay un detalle importante. Cuando el reranker se aplica a la búsqueda vectorial, primero se toman el doble de candidatos (2K) y, tras reordenarlos, se conservan los K primeros.

¿Qué se sabe sobre Resultados?

Búsqueda vectorial + reranker. Los resultados de ambos modelos de embeddings son similares. ColBERT, como embedder y como reranker, funciona algo mejor que la base. Los rerankers de Cohere mostraron la mayor precisión: solo con reordenar la lista ampliada, aportaron aproximadamente +8 % con BGE y +11 % con ColBERT. Búsqueda híbrida + reranker. Aquí Cohere vuelve a liderar en ambos casos: la proporción de aciertos superó el 90 %.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…