Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarRaft→ original

En RAG, el clásico BM25 encontró la respuesta en el 72% de las consultas; la búsqueda neuronal, en el 49,7%

Si un bot RAG no encuentra un expediente por su número o por un apellido, la culpa suele ser de la búsqueda neuronal: capta el significado, pero confunde las palabras poco frecuentes. En la prueba EntityQuestions, con preguntas sobre nombres concretos, BM25 (el buscador clásico por palabras) encontró la respuesta en el 72% de los casos; la búsqueda neuronal, en el 49,7%. Por eso, en producción conviene mantener BM25 junto a los embeddings y mezclar sus puntuaciones con una suma ponderada.

Procesado por IA desde Raft; editado por Hamidun News
En RAG, el clásico BM25 encontró la respuesta en el 72% de las consultas; la búsqueda neuronal, en el 49,7%
Fuente: Raft. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalRaft ↗
Editor jefe
Dato clave #1Las puntuaciones de BM25 de distintas bibliotecas no son comparables: cada una usa su propia fórmula
Dato clave #2En Lucene, desde la versión 8, se eliminó el multiplicador (k1+1) del numerador de la fórmula
Dato clave #3Ajuste los umbrales dentro de una sola biblioteca y una sola versión

Imagine un bot RAG para documentos jurídicos: primero busca en la base los fragmentos adecuados y después responde al usuario a partir de ellos. Usted pregunta por un caso concreto por su número, o por una persona por su apellido, y la búsqueda vectorial (neuronal) devuelve textos «parecidos por su significado», pero no los que busca. El algoritmo clásico BM25, que busca por coincidencia de palabras y pondera su rareza, responde mejor a este tipo de consultas.

En la prueba EntityQuestions, donde se formulan preguntas sobre nombres y entidades concretos, BM25 encontró la respuesta correcta en el 72% de los casos y la búsqueda neuronal, solo en el 49,7%. Un análisis de ingeniería firmado por un arquitecto de IA que desarrolló la búsqueda para documentos jurídicos (el proyecto «НейроЮрист») explica cómo tratar BM25 como una estructura de datos y qué hacer con él en producción.

BM25 como una tabla calculada de antemano

Imagine que, para cada palabra de cada documento, ya existe una puntuación que indica cuán importante es esa palabra para ese texto. Entonces la búsqueda se reduce a sumar las puntuaciones ya calculadas de las palabras de la consulta. Por eso BM25 es tan rápido.

Técnicamente, el peso del par «palabra — documento» depende de la frecuencia de la palabra en el documento, de la longitud del documento y de los contadores globales del corpus, pero no depende de la consulta. Por tanto, puede calcularse al indexar y almacenarse en una matriz dispersa. La búsqueda se convierte en seleccionar las columnas correspondientes a los tokens de la consulta y sumarlas. El artículo incluye un ejemplo mínimo en Python con numpy y scipy: unas 20 líneas, la variante de IDF (la puntuación de rareza de la palabra) de Lucene y la selección de los mejores resultados mediante argpartition.

Este esquema tiene una desventaja, una sola pero molesta: las puntuaciones dependen de toda la colección. Si se añade o se elimina un documento, formalmente cambian los pesos de todos los demás. Hay que reconstruir la matriz o aceptar de forma deliberada la deriva de las estadísticas, por ejemplo la de la longitud media de los documentos. En un sistema distribuido se suma el sharding: las estadísticas locales de un shard difieren de las globales y las puntuaciones de distintos nodos se mezclan de forma incorrecta. Elasticsearch lo resuelve con el modo dfs_query_then_fetch, a costa de una ronda de red adicional, pero si el corpus cabe en un solo nodo, es más sencillo mantener un único shard.

«BM25» no es una sola fórmula

No existe un estándar único. Kamphuis y sus coautores (ECIR 2020) compararon ocho variantes extendidas: la clásica de Robertson, Lucene, ATIRE, BM25L, BM25+ y otras. Difieren en el cálculo del IDF, en la normalización de la frecuencia de la palabra y en el tratamiento de los valores negativos (aparecen cuando la palabra figura en más de la mitad de los documentos).

Consecuencias prácticas:

  • Los mismos documentos obtendrán números distintos en bibliotecas diferentes, y compararlos entre sistemas carece de sentido.
  • En Lucene, desde la versión 8, se eliminó el multiplicador (k1+1) del numerador. El orden de los documentos dentro de una consulta no cambia, pero sí las puntuaciones absolutas, y eso rompe la comparación entre versiones.
  • La puntuación de BM25 no es una probabilidad: no tiene límite superior y crece con la longitud de la consulta. Un umbral rígido del tipo «por encima de 12 es relevante» acabará fallando inevitablemente. Use umbrales relativos: una fracción de la puntuación máxima o un valor normalizado.
  • En los embedders sparse que convierten palabras en índices mediante hashing, los vocabularios grandes con números de expediente y datos registrales provocan colisiones: palabras distintas se fusionan en una misma coordenada. En estos dominios es mejor pasar directamente a un vocabulario explícito.

Qué muestran los benchmarks y cómo combinar BM25 con la red neuronal

Las cifras ya aparecieron más arriba: en EntityQuestions, BM25 encontró la respuesta correcta en el 72% de los casos y la búsqueda neuronal, en el 49,7%. Las redes neuronales manejan mal lo poco frecuente (apellidos, números de expediente, referencias de producto) y «prefieren» los fragmentos cortos; con textos largos pierden rendimiento.

Para un enfoque híbrido, el autor aconseja mezclar BM25 y la red neuronal con una suma ponderada de las puntuaciones, y no por rangos (el método RRF, que solo tiene en cuenta la posición del documento en la lista). Hay una salvedad importante: si ha reentrenado el embedder con sus propios datos, la mezcla puede empeorar hasta que se reajusten los pesos. Por eso, tras cada cambio de modelo hay que recalcular los pesos, y no trasladarlos desde la versión anterior.

Otra conclusión: la calidad de la búsqueda depende sobre todo de la preparación del texto: la morfología, la tokenización y la división en fragmentos. Las variantes exóticas de la fórmula, como BM25L y BM25+, aportan mucho menos. En ruso, con sus casos gramaticales, esto se nota especialmente: si no se reducen las palabras a su forma base, «договора» y «договору» serán palabras distintas para el índice.

Qué hacer en la práctica

  1. Elija una biblioteca de BM25, fije la versión y ajuste dentro de ella los umbrales y los pesos del híbrido.
  2. Ajuste por separado el parámetro k1 y los demás ajustes; de lo contrario, comparará un modelo afinado con uno sin afinar.
  3. Mejore primero la tokenización y la división en fragmentos, y solo después piense en las variantes de la fórmula.
  4. Planifique la reconstrucción del índice o acepte la deriva de las estadísticas si hay actualizaciones frecuentes.
  5. Recalcule los pesos del híbrido después de reentrenar el embedder.

Limitación del material: es el punto de vista de un solo profesional en un dominio concreto, el de los textos jurídicos, y las cifras de EntityQuestions no sustituyen una comprobación con su propia colección. Aun así, como lista de verificación de «qué se rompe al pasar del notebook a producción», el análisis resulta útil para cualquier equipo cuyo RAG pierda identificadores exactos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre BM25 como una tabla calculada de antemano?

Imagine que, para cada palabra de cada documento, ya existe una puntuación que indica cuán importante es esa palabra para ese texto. Entonces la búsqueda se reduce a sumar las puntuaciones ya calculadas de las palabras de la consulta. Por eso BM25 es tan rápido. Técnicamente, el peso del par «palabra — documento» depende de la frecuencia de la palabra en el documento, de la longitud del documento y de los contadores globales del corpus, pero no depende de la consulta.

¿Qué se sabe sobre «BM25» no es una sola fórmula?

No existe un estándar único. Kamphuis y sus coautores (ECIR 2020) compararon ocho variantes extendidas: la clásica de Robertson, Lucene, ATIRE, BM25L, BM25+ y otras. Difieren en el cálculo del IDF, en la normalización de la frecuencia de la palabra y en el tratamiento de los valores negativos (aparecen cuando la palabra figura en más de la mitad de los documentos). Consecuencias prácticas: Los mismos documentos obtendrán números distintos en bibliotecas diferentes, y compararlos entre sistemas carece de sentido.

¿Qué se sabe sobre Qué muestran los benchmarks y cómo combinar BM25 con la red neuronal?

Las cifras ya aparecieron más arriba: en EntityQuestions, BM25 encontró la respuesta correcta en el 72% de los casos y la búsqueda neuronal, en el 49,7%. Las redes neuronales manejan mal lo poco frecuente (apellidos, números de expediente, referencias de producto) y «prefieren» los fragmentos cortos; con textos largos pierden rendimiento.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…