Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DLanceDB Blog→ original

LanceDB: índice IVF_PQ comprime vetores para RAG em 64 vezes e acelera a busca

A busca vetorial para RAG esbarra na memória: um único embedding de 128 números float32 ocupa 4096 bits, e uma base real tem milhões deles. O índice IVF_PQ no LanceDB resolve isso com duas técnicas: o PQ divide o vetor em pedaços e, em vez de guardar cada um, armazena o número do "valor típico" mais parecido (8 números de 8 bits cada, totalizando 64 bits, 64 vezes menos), enquanto o IVF divide o espaço em células e busca apenas nas mais próximas. Por isso, à medida que a base cresce, vale testar o IVF_PQ com os seus próprios dados.

Processado por IA de LanceDB Blog; editado por Hamidun News
LanceDB: índice IVF_PQ comprime vetores para RAG em 64 vezes e acelera a busca
Fonte: LanceDB Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLanceDB Blog ↗
Editor-chefe
Dado-chave #1128 números float32 (4096 bits) viram 8 IDs de 8 bits cada, totalizando 64 bits
Dado-chave #2nprobes tem valor padrão 20; para um recall alto, basta cobrir de 5% a 10% do dataset
Dado-chave #3refine_factor recalcula os candidatos na memória: mais preciso, porém mais lento

Qualquer sistema de RAG, mais cedo ou mais tarde, esbarra numa conta simples: os embeddings se acumulam, e guardá-los "como estão" fica caro. Um vetor denso de 128 números float32 ocupa 4096 bits, e uma base real tem milhões desses vetores. A equipe da LanceDB, em seu blog, detalhou o índice IVF_PQ, que atende a duas necessidades ao mesmo tempo. A parte PQ (Product Quantization, "quantização por partes") comprime cada vetor: no exemplo dos autores, 4096 bits viram 64 bits, ou seja, 64 vezes menos. A parte IVF (Inverted File, "arquivo invertido") acelera a busca: o sistema não percorre a base inteira, mas olha apenas os grupos de vetores mais próximos.

Como o PQ comprime o vetor 64 vezes

Imagine um endereço longo que você precisa anotar de forma curta. Você o divide em partes, cria para cada uma um catálogo de valores típicos e, em vez da parte em si, anota o número da linha correspondente no catálogo. O Product Quantization funciona de maneira parecida.

São três etapas. Primeiro, o vetor grande é dividido em pedaços iguais, chamados subvetores. O tamanho do vetor precisa ser divisível pelo número de pedaços, sem resto. Depois, para cada pedaço, encontra-se o centroide mais próximo, isto é, o representante típico de pedaços parecidos (os autores o chamam de reproduction value). Por fim, em vez do próprio centroide, guarda-se o seu ID único, com o qual é possível reconstruí-lo depois.

No exemplo didático, um vetor de 12 números é dividido em quatro pedaços de três números e vira quatro IDs. O exemplo é um brinquedo, e o ganho ali quase não aparece. Em tamanhos realistas, o quadro muda. Um vetor de 128 números float32 ocupa 128×32 = 4096 bits. Se ele for reduzido a oito IDs de 8 bits, o resultado são 8×8 = 64 bits. A diferença é de 64 vezes.

O custo é conhecido: o vetor reconstruído não coincide com o original. Qualquer compressão com perdas descarta alguma informação, e o PQ não é exceção. Por isso, a busca sobre esses vetores é aproximada.

Como o IVF reduz a área de busca

O PQ economiza memória, mas não responde à pergunta de quantos vetores é preciso percorrer. É aí que entra o Inverted File. O espaço é dividido em partições, e cada uma contém vetores próximos entre si. O autor ilustra isso com um diagrama de Voronoi: um conjunto de "células" em que cada ponto pertence ao centro mais próximo.

Quando chega uma consulta, o sistema não varre a base inteira. Ele identifica as células mais próximas e busca somente nelas. Dentro dessa amostra, aplica-se o PQ. O resultado é um filtro grosseiro seguido de uma busca entre vetores comprimidos. Quanto menos candidatos, mais rápida a resposta.

Quais parâmetros ajustar na prática

No LanceDB, o índice é criado com algumas linhas de código: os dados são carregados numa tabela e depois se chama create_index com o número de partições. O exemplo do blog usa 10 000 vetores aleatórios. Uma ressalva importante: para treinar o índice, a tabela precisa ter dados suficientes, senão os centroides ficarão ruins.

Na busca, há três parâmetros principais:

  • limit, com padrão 10: quantos resultados retornar.
  • nprobes, com padrão 20: quantas partições percorrer. Quanto maior o valor, maior a precisão, mas mais lenta fica a busca. Segundo os autores, para obter um recall alto (a fração dos resultados relevantes encontrados) com pouca latência, em geral basta cobrir de 5% a 10% do dataset.
  • refine_factor, sem valor definido por padrão: se ativado, o sistema lê elementos adicionais e reordena esses resultados na memória. A precisão sobe, e a velocidade cai.

O que fazer com isso e o que não esperar

Se você está construindo um RAG ou uma busca semântica, e a base cresce junto com a conta de memória e de infraestrutura, vale considerar o IVF_PQ. Os parâmetros nprobes e refine_factor permitem trocar precisão por velocidade sem reconstruir o índice.

Há também limitações honestas. O material é educacional: não traz benchmarks com dados reais, e o número 64× decorre do tamanho dos vetores, não de medições de qualidade da busca. Quanto o recall vai cair nos seus embeddings depende do modelo, da dimensionalidade e do número de partições, e isso precisa ser verificado numa amostra própria. Ainda assim, como introdução ao que está por trás do termo "índice vetorial" e à origem da economia de memória, o texto é útil e tecnicamente concreto.

História

Perguntas frequentes sobre a notícia

Como o PQ comprime o vetor 64 vezes?

Imagine um endereço longo que você precisa anotar de forma curta. Você o divide em partes, cria para cada uma um catálogo de valores típicos e, em vez da parte em si, anota o número da linha correspondente no catálogo. O Product Quantization funciona de maneira parecida. São três etapas. Primeiro, o vetor grande é dividido em pedaços iguais, chamados subvetores. O tamanho do vetor precisa ser divisível pelo número de pedaços, sem resto.

Como o IVF reduz a área de busca?

O PQ economiza memória, mas não responde à pergunta de quantos vetores é preciso percorrer. É aí que entra o Inverted File. O espaço é dividido em partições, e cada uma contém vetores próximos entre si. O autor ilustra isso com um diagrama de Voronoi: um conjunto de "células" em que cada ponto pertence ao centro mais próximo. Quando chega uma consulta, o sistema não varre a base inteira. Ele identifica as células mais próximas e busca somente nelas. Dentro dessa amostra, aplica-se o PQ.

O que se sabe sobre Quais parâmetros ajustar na prática?

No LanceDB, o índice é criado com algumas linhas de código: os dados são carregados numa tabela e depois se chama create_index com o número de partições. O exemplo do blog usa 10 000 vetores aleatórios. Uma ressalva importante: para treinar o índice, a tabela precisa ter dados suficientes, senão os centroides ficarão ruins. Na busca, há três parâmetros principais: limit, com padrão 10: quantos resultados retornar. nprobes, com padrão 20: quantas partições percorrer.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…