Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarQdrant Articles→ original

Qdrant comprime los vectores 8 veces con una pérdida de recall de solo 1–2 pp

Las bases de datos vectoriales almacenan los embeddings en float32, un formato pesado, y la memoria acaba siendo la principal partida de costes. Qdrant ha añadido la compresión TurboQuant: rota aleatoriamente cada vector y guarda cada número con entre 1 y 4 bits en lugar de 32. En el modo de 4 bits se necesita 8 veces menos espacio, y el recall (la proporción de vecinos relevantes que se encuentran) queda solo 1–2 pp por debajo del de SQ con compresión 4x. Si usa SQ o BQ, pruebe TurboQuant con una muestra de prueba.

Procesado por IA desde Qdrant Articles; editado por Hamidun News
Qdrant comprime los vectores 8 veces con una pérdida de recall de solo 1–2 pp
Fuente: Qdrant Articles. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalQdrant Articles ↗
Editor jefe
Dato clave #12 bits frente a BQ con la misma compresión 16x: el recall es 9–24 pp superior.
Dato clave #21 bit frente al BQ normal con compresión 32x: ventaja de 9–21 pp.
Dato clave #3La migración consiste en cambiar la configuración y reindexar; el parámetro memory requiere Qdrant 1.19.

Si mantiene la búsqueda vectorial en producción, sabe en qué se va la memoria: en los embeddings. Cada número de un vector ocupa 32 bits por defecto (float32), y los vectores pueden contarse por millones. Para ahorrar espacio se comprimen, pero cuanta más compresión, más documentos relevantes se pierden en la búsqueda. El equipo de Qdrant (los autores del artículo son Iván Pleshkov y Jonas Schulz) ha añadido un nuevo método de compresión llamado TurboQuant y ha demostrado que supera en memoria o en calidad a las dos variantes anteriores.

Qué variantes existían y qué se ha añadido

Antes, Qdrant ofrecía dos vías principales. La cuantización escalar SQ almacena cada número en un byte (int8): compresión 4x, y la calidad en la mayoría de embeddings apenas difiere de float32. La cuantización binaria BQ almacena 1, 1,5 o 2 bits por número, lo que comprime 32x, unas 21x o 16x. Pero el resultado depende mucho del modelo de embeddings: funciona bien con modelos uniformes y bien entrenados.

TurboQuant añade cuatro modos: 4 bits por número (compresión 8x), 2 bits (16x), 1,5 bits (unas 21x) y 1 bit (32x). Se activa en el bloque quantization_config de la colección: basta con elegir la profundidad en bits (bits2, etc.) y, si se desea, fijar los datos en memoria con el parámetro memory. Este parámetro requiere Qdrant 1.19; en la versión 1.18 hay que omitirlo.

Cómo funciona, a grandes rasgos

Imagine un vector como un conjunto de cientos de números, donde unas coordenadas tienen mucha dispersión y otras casi ninguna. Redondear de forma uniforme estos números es poco práctico. Por eso el método multiplica primero cada vector por una matriz ortogonal aleatoria, es decir, lo rota en el espacio.

Las distancias y los productos escalares no cambian, pero la dispersión entre coordenadas se iguala. Después, cada número se redondea al valor más cercano de una pequeña tabla precalculada (codebook de Lloyd–Max), una sola para todos los conjuntos de datos. No hay que entrenar nada, ni se necesita una muestra de calibración, ni guardar tablas separadas.

En el Product Quantization clásico, en cambio, el codebook hay que entrenarlo con sus datos y transportarlo junto con el índice.

Qdrant no adoptó el método tal cual, sino que combinó ideas de TurboQuant y RaBitQ y añadió sus propias mejoras:

  • Renormalización de la longitud. Los vectores comprimidos resultan algo más cortos que los originales. Qdrant guarda un coeficiente por vector (los mismos 4 bytes que ya están reservados para la longitud) y lo multiplica al calcular la similitud.
  • Calibración por coordenadas. La teoría se formuló para vectores distribuidos uniformemente sobre la esfera, y los embeddings reales no lo son. Por ello, para cada segmento se calcula una vez un desplazamiento y una escala por coordenada. La corrección se aplica en el lado de la consulta, de modo que el almacenamiento no crece y el núcleo de cálculo no cambia. Con datos perfectamente uniformes, el resultado coincide con el TurboQuant estándar.
  • Métricas. Se admiten la distancia coseno, el producto escalar y L2. La métrica L1 no es compatible: la rotación no preserva la norma L1, y para ella los autores recomiendan quedarse con SQ.

De las dos variantes de la publicación original, Qdrant eligió MSE. Permite comparar directamente dos vectores comprimidos entre sí (algo necesario, por ejemplo, al construir el grafo HNSW) y encaja bien con las instrucciones enteras AVX-VNNI, AVX-512 y NEON.

Qué muestran los benchmarks y qué hacer

El equipo comparó los métodos con conjuntos públicos de embeddings (la tabla completa incluye diez). Los resultados son los siguientes:

  • 4 bits frente a SQ. Compresión 8x en lugar de 4x. En la mayoría de conjuntos, el recall queda 1–2 pp (puntos porcentuales) por debajo de SQ, pero en algunos TurboQuant resulta mejor: la cuadrícula de int8 se ajusta mal a la distribución de esos embeddings.
  • 2 bits frente a BQ de 2 bits. Con la misma compresión 16x, TurboQuant supera en 11–15 pp en los cuatro conjuntos mostrados y en 9–24 pp en los diez.
  • 1 bit frente al BQ normal. Con la misma compresión 32x, la ventaja es de 9–21 pp. Se trata de la versión simple de BQ, en la que tanto los vectores almacenados como la consulta ocupan 1 bit. La versión con consulta de 8 bits se analiza aparte en el artículo.

La recomendación de los autores es sencilla. Si usa SQ, pruebe TurboQuant de 4 bits: obtendrá la mitad de memoria con un recall comparable. Si usa BQ, elija TurboQuant del mismo tamaño, es decir, 2 bits en lugar de 2 o 1 en lugar de 1, y encontrará más documentos con los mismos gigabytes. La migración consiste en cambiar la configuración y reindexar.

Hay también matices. Las cifras proceden de los benchmarks del propio Qdrant, así que conviene validar primero el método con una muestra de prueba de sus datos y de su modelo de embeddings. Si su búsqueda se basa en la métrica L1, TurboQuant no le servirá. Para el resto, es una de las formas más económicas de reducir la factura de memoria sin reescribir la aplicación.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué variantes existían y qué se ha añadido?

Antes, Qdrant ofrecía dos vías principales. La cuantización escalar SQ almacena cada número en un byte (int8): compresión 4x, y la calidad en la mayoría de embeddings apenas difiere de float32. La cuantización binaria BQ almacena 1, 1,5 o 2 bits por número, lo que comprime 32x, unas 21x o 16x. Pero el resultado depende mucho del modelo de embeddings: funciona bien con modelos uniformes y bien entrenados.

Cómo funciona, a grandes rasgos?

Imagine un vector como un conjunto de cientos de números, donde unas coordenadas tienen mucha dispersión y otras casi ninguna. Redondear de forma uniforme estos números es poco práctico. Por eso el método multiplica primero cada vector por una matriz ortogonal aleatoria, es decir, lo rota en el espacio. Las distancias y los productos escalares no cambian, pero la dispersión entre coordenadas se iguala.

¿Qué se sabe sobre Qué muestran los benchmarks y qué hacer?

El equipo comparó los métodos con conjuntos públicos de embeddings (la tabla completa incluye diez). Los resultados son los siguientes: 4 bits frente a SQ. Compresión 8x en lugar de 4x. En la mayoría de conjuntos, el recall queda 1–2 pp (puntos porcentuales) por debajo de SQ, pero en algunos TurboQuant resulta mejor: la cuadrícula de int8 se ajusta mal a la distribución de esos embeddings. 2 bits frente a BQ de 2 bits.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…