LanceDB: el índice IVF_PQ comprime los vectores para RAG 64 veces y acelera la búsqueda
La búsqueda vectorial para RAG tiene un problema de memoria: un embedding de 128 números float32 ocupa 4096 bits, y una base de datos contiene millones de ellos. El índice IVF_PQ de LanceDB aborda este problema con dos técnicas. PQ divide el vector en fragmentos y, en lugar de guardar cada uno, almacena el número de un fragmento «típico» parecido (8 números de 8 bits cada uno, es decir, 64 bits, 64 veces menos). IVF, por su parte, divide el espacio en celdas y busca solo en las más cercanas. Por eso, cuando la base de datos crece, conviene probar IVF_PQ con los propios datos.
Procesado por IA desde LanceDB Blog; editado por Hamidun News
Cualquier sistema RAG tarde o temprano se topa con una aritmética sencilla: los embeddings se acumulan y guardarlos tal cual resulta caro. Un vector denso de 128 números float32 ocupa 4096 bits, y en una base de datos real hay millones de ellos. El equipo de LanceDB, en su blog, analizó el índice IVF_PQ, que resuelve dos problemas a la vez. La parte PQ (Product Quantization, «cuantización por partes») comprime cada vector: en el ejemplo de los autores, 4096 bits se convierten en 64 bits, es decir, 64 veces menos. La parte IVF (Inverted File, «archivo invertido») acelera la búsqueda: el sistema no recorre toda la base, sino solo los grupos de vectores más cercanos.
Cómo PQ comprime un vector 64 veces
Imagine una dirección larga que hay que escribir de forma breve. La parte en fragmentos, para cada una se crea un catálogo de valores típicos y, en lugar del fragmento en sí, se escribe el número de fila del catálogo. Product Quantization funciona de manera similar.
Son tres pasos. Primero, el vector grande se divide en fragmentos iguales, es decir, subvectores. La longitud del vector debe ser divisible entre el número de fragmentos sin resto. Después, para cada fragmento se busca su centroide más cercano, es decir, el representante típico de fragmentos parecidos (los autores lo llaman reproduction value). Por último, en lugar del centroide se guarda su ID único, con el que luego se puede reconstruir el centroide.
En el ejemplo didáctico, un vector de 12 números se divide en cuatro fragmentos de tres números y se convierte en cuatro ID. Es un ejemplo de juguete, y allí el ahorro apenas se nota. Con tamaños realistas la situación cambia. Un vector de 128 números float32 ocupa 128×32 = 4096 bits. Si se comprime a ocho ID de 8 bits, resultan 8×8 = 64 bits. La diferencia es de 64 veces.
El precio es conocido: el vector reconstruido no coincide con el original. Cualquier compresión con pérdida descarta algo, y PQ no es la excepción. Por eso la búsqueda sobre estos vectores es aproximada.
Cómo IVF reduce el área de búsqueda
PQ ahorra memoria, pero no responde a la pregunta de cuántos vectores hay que recorrer. Aquí entra en juego Inverted File. El espacio se divide en particiones, y en cada una se agrupan vectores cercanos entre sí. El autor ilustra esto con un diagrama de Voronói: un conjunto de «celdas» en el que cada punto pertenece al centro más cercano.
Cuando llega una consulta, el sistema no escanea toda la base. Encuentra las celdas más cercanas y busca solo en ellas. Dentro de esa selección se aplica PQ. El resultado es una selección gruesa seguida de una búsqueda entre vectores comprimidos. Cuantos menos candidatos haya, más rápida será la respuesta.
Qué parámetros ajustar en la práctica
En LanceDB el índice se crea con unas pocas líneas: los datos se cargan en una tabla y después se llama a create_index con el número de particiones. El ejemplo del blog usa 10 000 vectores aleatorios. Una advertencia importante: para entrenar el índice, la tabla debe contener suficientes datos; de lo contrario, los centroides resultarán malos.
En la búsqueda hay tres parámetros principales:
- limit, por defecto 10: cuántos resultados devolver.
- nprobes, por defecto 20: cuántas particiones recorrer. Cuanto mayor es el valor, mayor es la precisión, pero la búsqueda es más lenta. Según el consejo de los autores, para obtener un recall alto (la proporción de resultados relevantes encontrados) con poca latencia, normalmente basta con cubrir entre el 5 y el 10 % del dataset.
- refine_factor, sin valor por defecto: si se activa, el sistema lee elementos adicionales y los reordena en memoria. La precisión aumenta y la velocidad baja.
Qué hacer con esto y qué no esperar
Si construye un RAG o un sistema de búsqueda semántica y la base crece junto con la factura de memoria e infraestructura, conviene considerar IVF_PQ. Los parámetros nprobes y refine_factor permiten cambiar el equilibrio entre precisión y velocidad sin reconstruir el índice.
Hay también limitaciones honestas. El material es educativo: no incluye benchmarks sobre datos reales, y la cifra de 64× se deriva del tamaño de los vectores, no de mediciones de la calidad de la búsqueda. Cuánto se resienta el recall con sus embeddings depende del modelo, de la dimensionalidad y del número de particiones, y habrá que comprobarlo con una muestra propia. Pero como introducción a lo que hay detrás de la expresión «índice vectorial» y de dónde sale el ahorro de memoria, el texto es útil y técnicamente concreto.
- 19 nov 2026WeRide redujo de una semana a una hora la búsqueda de imágenes peligrosas y poco frecuentes para vehículos autónomos con LanceDB
- 21 nov 2026La cuantización en OpenVINO redujo en un 75,4 % el tiempo de ejecución de CLIP para LanceDB en CPU
- 21 nov 2026LanceDB lanza Realtime Engine: los datos recientes se pueden buscar en 52 ms
- 27 oct 2026Qdrant comprime los vectores 8 veces con una pérdida de recall de solo 1–2 pp
Preguntas frecuentes sobre la noticia
Cómo PQ comprime un vector 64 veces?
Imagine una dirección larga que hay que escribir de forma breve. La parte en fragmentos, para cada una se crea un catálogo de valores típicos y, en lugar del fragmento en sí, se escribe el número de fila del catálogo. Product Quantization funciona de manera similar. Son tres pasos. Primero, el vector grande se divide en fragmentos iguales, es decir, subvectores. La longitud del vector debe ser divisible entre el número de fragmentos sin resto.
Cómo IVF reduce el área de búsqueda?
PQ ahorra memoria, pero no responde a la pregunta de cuántos vectores hay que recorrer. Aquí entra en juego Inverted File. El espacio se divide en particiones, y en cada una se agrupan vectores cercanos entre sí. El autor ilustra esto con un diagrama de Voronói: un conjunto de «celdas» en el que cada punto pertenece al centro más cercano. Cuando llega una consulta, el sistema no escanea toda la base. Encuentra las celdas más cercanas y busca solo en ellas. Dentro de esa selección se aplica PQ.
¿Qué se sabe sobre Qué parámetros ajustar en la práctica?
En LanceDB el índice se crea con unas pocas líneas: los datos se cargan en una tabla y después se llama a create_index con el número de particiones. El ejemplo del blog usa 10 000 vectores aleatorios. Una advertencia importante: para entrenar el índice, la tabla debe contener suficientes datos; de lo contrario, los centroides resultarán malos. En la búsqueda hay tres parámetros principales: limit, por defecto 10: cuántos resultados devolver. nprobes, por defecto 20: cuántas particiones recorrer.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.