LanceDB: índice IVF_PQ comprime vetores para RAG em 64 vezes e acelera a busca
A busca vetorial para RAG esbarra na memória: um único embedding de 128 números float32 ocupa 4096 bits, e uma base real tem milhões deles. O índice IVF_PQ no LanceDB resolve isso com duas técnicas: o PQ divide o vetor em pedaços e, em vez de guardar cada um, armazena o número do "valor típico" mais parecido (8 números de 8 bits cada, totalizando 64 bits, 64 vezes menos), enquanto o IVF divide o espaço em células e busca apenas nas mais próximas. Por isso, à medida que a base cresce, vale testar o IVF_PQ com os seus próprios dados.
Processado por IA de LanceDB Blog; editado por Hamidun News
Qualquer sistema de RAG, mais cedo ou mais tarde, esbarra numa conta simples: os embeddings se acumulam, e guardá-los "como estão" fica caro. Um vetor denso de 128 números float32 ocupa 4096 bits, e uma base real tem milhões desses vetores. A equipe da LanceDB, em seu blog, detalhou o índice IVF_PQ, que atende a duas necessidades ao mesmo tempo. A parte PQ (Product Quantization, "quantização por partes") comprime cada vetor: no exemplo dos autores, 4096 bits viram 64 bits, ou seja, 64 vezes menos. A parte IVF (Inverted File, "arquivo invertido") acelera a busca: o sistema não percorre a base inteira, mas olha apenas os grupos de vetores mais próximos.
Como o PQ comprime o vetor 64 vezes
Imagine um endereço longo que você precisa anotar de forma curta. Você o divide em partes, cria para cada uma um catálogo de valores típicos e, em vez da parte em si, anota o número da linha correspondente no catálogo. O Product Quantization funciona de maneira parecida.
São três etapas. Primeiro, o vetor grande é dividido em pedaços iguais, chamados subvetores. O tamanho do vetor precisa ser divisível pelo número de pedaços, sem resto. Depois, para cada pedaço, encontra-se o centroide mais próximo, isto é, o representante típico de pedaços parecidos (os autores o chamam de reproduction value). Por fim, em vez do próprio centroide, guarda-se o seu ID único, com o qual é possível reconstruí-lo depois.
No exemplo didático, um vetor de 12 números é dividido em quatro pedaços de três números e vira quatro IDs. O exemplo é um brinquedo, e o ganho ali quase não aparece. Em tamanhos realistas, o quadro muda. Um vetor de 128 números float32 ocupa 128×32 = 4096 bits. Se ele for reduzido a oito IDs de 8 bits, o resultado são 8×8 = 64 bits. A diferença é de 64 vezes.
O custo é conhecido: o vetor reconstruído não coincide com o original. Qualquer compressão com perdas descarta alguma informação, e o PQ não é exceção. Por isso, a busca sobre esses vetores é aproximada.
Como o IVF reduz a área de busca
O PQ economiza memória, mas não responde à pergunta de quantos vetores é preciso percorrer. É aí que entra o Inverted File. O espaço é dividido em partições, e cada uma contém vetores próximos entre si. O autor ilustra isso com um diagrama de Voronoi: um conjunto de "células" em que cada ponto pertence ao centro mais próximo.
Quando chega uma consulta, o sistema não varre a base inteira. Ele identifica as células mais próximas e busca somente nelas. Dentro dessa amostra, aplica-se o PQ. O resultado é um filtro grosseiro seguido de uma busca entre vetores comprimidos. Quanto menos candidatos, mais rápida a resposta.
Quais parâmetros ajustar na prática
No LanceDB, o índice é criado com algumas linhas de código: os dados são carregados numa tabela e depois se chama create_index com o número de partições. O exemplo do blog usa 10 000 vetores aleatórios. Uma ressalva importante: para treinar o índice, a tabela precisa ter dados suficientes, senão os centroides ficarão ruins.
Na busca, há três parâmetros principais:
- limit, com padrão 10: quantos resultados retornar.
- nprobes, com padrão 20: quantas partições percorrer. Quanto maior o valor, maior a precisão, mas mais lenta fica a busca. Segundo os autores, para obter um recall alto (a fração dos resultados relevantes encontrados) com pouca latência, em geral basta cobrir de 5% a 10% do dataset.
- refine_factor, sem valor definido por padrão: se ativado, o sistema lê elementos adicionais e reordena esses resultados na memória. A precisão sobe, e a velocidade cai.
O que fazer com isso e o que não esperar
Se você está construindo um RAG ou uma busca semântica, e a base cresce junto com a conta de memória e de infraestrutura, vale considerar o IVF_PQ. Os parâmetros nprobes e refine_factor permitem trocar precisão por velocidade sem reconstruir o índice.
Há também limitações honestas. O material é educacional: não traz benchmarks com dados reais, e o número 64× decorre do tamanho dos vetores, não de medições de qualidade da busca. Quanto o recall vai cair nos seus embeddings depende do modelo, da dimensionalidade e do número de partições, e isso precisa ser verificado numa amostra própria. Ainda assim, como introdução ao que está por trás do termo "índice vetorial" e à origem da economia de memória, o texto é útil e tecnicamente concreto.
- 27 de out. de 2026Qdrant 1.20 faz busca por palavras sem embeddings e acelera filtros aninhados em 7–38 vezes
- 19 de nov. de 2026WeRide usa o LanceDB e reduz de uma semana para uma hora a busca por cenas raras e perigosas para veículos autônomos
- 21 de nov. de 2026Quantização no OpenVINO reduziu em 75,4% o tempo de execução do CLIP para o LanceDB na CPU
- 21 de nov. de 2026Cognee guarda a memória de agentes no LanceDB: cada teste ganha sua própria pasta, sem servidor
Perguntas frequentes sobre a notícia
Como o PQ comprime o vetor 64 vezes?
Imagine um endereço longo que você precisa anotar de forma curta. Você o divide em partes, cria para cada uma um catálogo de valores típicos e, em vez da parte em si, anota o número da linha correspondente no catálogo. O Product Quantization funciona de maneira parecida. São três etapas. Primeiro, o vetor grande é dividido em pedaços iguais, chamados subvetores. O tamanho do vetor precisa ser divisível pelo número de pedaços, sem resto.
Como o IVF reduz a área de busca?
O PQ economiza memória, mas não responde à pergunta de quantos vetores é preciso percorrer. É aí que entra o Inverted File. O espaço é dividido em partições, e cada uma contém vetores próximos entre si. O autor ilustra isso com um diagrama de Voronoi: um conjunto de "células" em que cada ponto pertence ao centro mais próximo. Quando chega uma consulta, o sistema não varre a base inteira. Ele identifica as células mais próximas e busca somente nelas. Dentro dessa amostra, aplica-se o PQ.
O que se sabe sobre Quais parâmetros ajustar na prática?
No LanceDB, o índice é criado com algumas linhas de código: os dados são carregados numa tabela e depois se chama create_index com o número de partições. O exemplo do blog usa 10 000 vetores aleatórios. Uma ressalva importante: para treinar o índice, a tabela precisa ter dados suficientes, senão os centroides ficarão ruins. Na busca, há três parâmetros principais: limit, com padrão 10: quantos resultados retornar. nprobes, com padrão 20: quantas partições percorrer.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.