Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarQdrant Blog→ original

Qdrant 1.20 busca por palabras sin embeddings y acelera los filtros anidados entre 7 y 38 veces

Qdrant 1.20 ordena las búsquedas por palabras (algoritmo BM25) directamente sobre el texto de los campos de cada registro: ya no hacen falta embeddings ni vectores dispersos. Antes, cada documento pasaba por un modelo y había que vigilar manualmente la longitud media de los textos; ahora Qdrant lo calcula por sí mismo. Los filtros anidados, como «la oferta de la tienda es más barata que N», son entre 7 y 38 veces más rápidos gracias al nuevo índice sobre los elementos del array. Para un RAG híbrido conviene probar la migración en un clúster de pruebas.

Procesado por IA desde Qdrant Blog; editado por Hamidun News
Qdrant 1.20 busca por palabras sin embeddings y acelera los filtros anidados entre 7 y 38 veces
Fuente: Qdrant Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalQdrant Blog ↗
Editor jefe
Prueba100 mil puntos, tres filtros anidados, payload ya en memoria
Dato clave #2TurboQuant de 16 bits reduce a la mitad los vectores float32 sin pérdida de precisión
Dato clave #3TurboQuant de 8 bits es más preciso que la cuantización escalar en 10 de 11 datasets

Si construyes un RAG o un buscador de documentos, conoces el compromiso incómodo: la búsqueda vectorial capta bien el significado, pero encuentra peor las palabras exactas, los nombres de funciones y los códigos de artículo. Por eso, junto a ella suele colocarse la búsqueda clásica por palabras clave con ranking BM25. Es una fórmula que decide qué documento es más relevante: cuanto más aparece la consulta en el texto y cuanto menos frecuente es la palabra en el resto de la base, mayor es el resultado.

En el lanzamiento de Qdrant 1.20, esta capa se ha simplificado: BM25 se calcula directamente sobre el texto que ya está en los campos del registro (payload), sin embeddings. Además, los filtros anidados sobre arrays de objetos, por ejemplo sobre la lista de ofertas de tiendas de un mismo producto, funcionan entre 7 y 38 veces más rápido.

También se han añadido vectores más compactos y configuraciones más seguras para el clúster.

BM25 directamente desde el texto, sin embeddings

Antes, para ordenar una búsqueda de texto completo con BM25, había que convertir el texto en vectores dispersos. Cada documento y cada consulta pasaban por un paso de inferencia aparte. La longitud media de los documentos había que controlarla uno mismo, porque quedaba incrustada en cada vector almacenado. Si los datos cambiaban, solo podía actualizarse volviendo a convertir toda la colección.

En la versión 1.20, BM25 funciona sobre el índice de texto completo. Creas un índice sobre un campo, por ejemplo el título de un libro, activas el cálculo de BM25 y buscas, por ejemplo, «time travel».

Qdrant calcula por sí mismo las estadísticas, incluida la longitud media de los documentos, así que las puntuaciones son precisas sin ajustes manuales. Los parámetros de BM25 pueden cambiarse a nivel de consulta, sin necesidad de reconstruir el índice. Esta consulta funciona en todo el Query API, también en el esquema híbrido junto con los vectores densos.

El enfoque anterior con vectores dispersos sigue siendo compatible. Si el texto ya está en el payload, puedes migrar al nuevo índice sin volver a cargar los datos.

Para la búsqueda en código se ha añadido un tokenizador específico, es decir, una regla que trocea el texto en las palabras buscables. El tokenizador habitual divide la cadena por espacios y signos de puntuación, pero en código un identificador une varias palabras con distintos estilos de escritura. El nuevo tokenizador las separa por guiones bajos y cambios de mayúsculas, incluidas las siglas, de modo que las variantes en estilo snake_case y camelCase se encuentran entre sí. El identificador completo también se indexa.

Filtros anidados más rápidos y vectores más compactos

Imagina un producto con varias ofertas, cada una con su tienda y su precio. Un filtro anidado busca productos en los que una misma oferta cumpla todas las condiciones a la vez: la tienda correcta y un precio por debajo del umbral. Antes, los índices solo reducían el número de candidatos y, después, Qdrant leía el payload de cada uno, normalmente desde disco. Si quedaban muchos candidatos, el filtro se volvía lento.

Ahora puede crearse un índice sobre los elementos de un array, donde cada elemento se guarda por separado. Si todas las condiciones del filtro se apoyan en índices de un mismo array, la respuesta se construye sin leer el payload. La API no cambia, así que las consultas existentes se aceleran en cuanto se crean los índices. En una prueba con 100 mil puntos y tres filtros anidados, la mejora fue de entre 7 y 38 veces, incluso con todo el payload ya en memoria. Según estimaciones de los autores, la diferencia con datos en disco probablemente sea mayor.

La cuantización incorpora dos tipos de TurboQuant. La variante de 16 bits reduce a la mitad el tamaño de los vectores float32 sin pérdida de precisión. Primero aplica una rotación TurboQuant, que distribuye los valores de manera uniforme entre las coordenadas.

Esto es importante en embeddings con algunas coordenadas muy grandes, como los de ada-002, CLIP y Cohere. En 13 datasets, el error de reconstrucción del vector fue 7,5 veces menor que el de float16. En 12 datasets, la proporción de vecinos correctos en el top 10 (recall@10) se diferenció del búsqueda exacta en no más de 0,1 puntos porcentuales, mientras que float16 con ada-002 y CLIP bajó al 99,5 %.

La latencia mediana de búsqueda en el índice HNSW fue el 81 % de la de float16 en x86 y el 83 % en ARM.

La variante de 8 bits de TurboQuant acepta vectores float normales y los cuantiza por sí misma. Comprime los datos aproximadamente cuatro veces, frente a ocho en la variante de 4 bits. Con una latencia similar, en 10 de los 11 datasets de prueba ofreció un recall superior al de la cuantización escalar; en el restante, el resultado fue igual.

Seguridad, memoria y actualización

El rastreador de IDs asocia el ID de cada punto con su ubicación interna y su versión. Antes siempre residía en RAM, unos 52 bytes por punto, es decir, del orden de 5 GB por cada 100 millones de puntos. Ahora puede mantenerse en disco: con lectura bajo demanda o con carga en la caché de páginas al abrir el segmento. Por defecto sigue en RAM.

El puerto gRPC interno del clúster, cuando hay una API key configurada, ahora requiere autenticación por defecto y solo acepta claves con permiso de escritura. El puerto puede vincularse a una interfaz privada independiente. Además, se han añadido snapshots en GCS y Azure Blob Storage, la salida de logs de auditoría a stdout o stderr y la zona horaria de los logs mediante una variable de entorno.

La actualización tiene matices. Debe hacerse de una versión menor en una, por ejemplo 1.18 → 1.19 → 1.20. Los clústeres con solo una clave de solo lectura necesitarán ajustes antes de actualizar. El almacenamiento inline ahora conserva los vectores originales únicamente en el archivo del índice HNSW, por lo que siguen su nivel de memoria, y el consumo de RAM puede aumentar. Antes de actualizar, revisa la configuración de los niveles de memoria.

Conclusión práctica: si tu búsqueda híbrida depende de vectores BM25 dispersos, prueba la migración al índice de texto completo. En colecciones grandes, mide TurboQuant con tus propios embeddings: los resultados con tus datos pueden diferir de los benchmarks de los autores.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre BM25 directamente desde el texto, sin embeddings?

Antes, para ordenar una búsqueda de texto completo con BM25, había que convertir el texto en vectores dispersos. Cada documento y cada consulta pasaban por un paso de inferencia aparte. La longitud media de los documentos había que controlarla uno mismo, porque quedaba incrustada en cada vector almacenado. Si los datos cambiaban, solo podía actualizarse volviendo a convertir toda la colección. En la versión 1.20, BM25 funciona sobre el índice de texto completo.

¿Qué se sabe sobre Filtros anidados más rápidos y vectores más compactos?

Imagina un producto con varias ofertas, cada una con su tienda y su precio. Un filtro anidado busca productos en los que una misma oferta cumpla todas las condiciones a la vez: la tienda correcta y un precio por debajo del umbral. Antes, los índices solo reducían el número de candidatos y, después, Qdrant leía el payload de cada uno, normalmente desde disco. Si quedaban muchos candidatos, el filtro se volvía lento.

¿Qué se sabe sobre Seguridad, memoria y actualización?

El rastreador de IDs asocia el ID de cada punto con su ubicación interna y su versión. Antes siempre residía en RAM, unos 52 bytes por punto, es decir, del orden de 5 GB por cada 100 millones de puntos. Ahora puede mantenerse en disco: con lectura bajo demanda o con carga en la caché de páginas al abrir el segmento. Por defecto sigue en RAM. El puerto gRPC interno del clúster, cuando hay una API key configurada, ahora requiere autenticación por defecto y solo acepta claves con permiso de escritura.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…