Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarQdrant Articles→ original

Qdrant comprime vetores em 8 vezes com perda de apenas 1–2 p.p. de recall

Bancos vetoriais guardam embeddings em float32, e a memória logo vira o principal item de custo. O Qdrant adicionou a compressão TurboQuant: ela "gira" cada vetor de forma aleatória e armazena cada número em 1–4 bits, em vez de 32. No modo de 4 bits, o espaço necessário é 8 vezes menor, e o recall (a fração de vizinhos relevantes encontrados) fica apenas 1–2 p.p. abaixo do SQ, que comprime em 4 vezes. Se você usa SQ ou BQ, vale testar o TurboQuant em uma amostra de teste.

Processado por IA de Qdrant Articles; editado por Hamidun News
Qdrant comprime vetores em 8 vezes com perda de apenas 1–2 p.p. de recall
Fonte: Qdrant Articles. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalQdrant Articles ↗
Editor-chefe
Dado-chave #12 bits contra BQ, com os mesmos 16x de compressão: recall 9–24 p.p. maior
Dado-chave #21 bit contra o BQ comum, com 32x de compressão: ganho de 9–21 p.p.
Dado-chave #3A migração exige mudar a configuração e reindexar; o parâmetro memory requer Qdrant 1.19

Se você mantém busca vetorial em produção, sabe para onde vai a memória: para os embeddings. Por padrão, cada número de um vetor ocupa 32 bits (float32), e é comum ter milhões de vetores. Para economizar, eles são comprimidos, mas quanto mais forte a compressão, mais a busca deixa de encontrar documentos relevantes. A equipe do Qdrant (os autores do artigo são Ivan Pleshkov e Jonas Schulz) adicionou um novo método de compressão chamado TurboQuant e mostrou que ele supera dois métodos antigos em consumo de memória ou em qualidade.

Quais eram as opções e o que mudou

Antes, o Qdrant tinha dois caminhos principais. A quantização escalar SQ guarda cada número em um byte (int8): compressão de 4 vezes, com qualidade quase idêntica à do float32 na maioria dos embeddings. A quantização binária BQ guarda 1, 1,5 ou 2 bits por número, ou seja, comprime em 32, cerca de 21 ou 16 vezes. Só que o resultado depende muito do modelo de embeddings: funciona bem em modelos uniformes e bem treinados.

O TurboQuant adiciona quatro modos: 4 bits por número (compressão de 8 vezes), 2 bits (16 vezes), 1,5 bit (cerca de 21 vezes) e 1 bit (32 vezes). Ele é ativado no bloco quantization_config da coleção: basta escolher a profundidade em bits (bits2 e assim por diante) e, se quiser, fixar os dados na memória com o parâmetro memory. Esse parâmetro exige Qdrant 1.19; na versão 1.18, ele deve ser omitido.

Como funciona, em termos simples

Imagine que o vetor é um conjunto de centenas de números, em que algumas coordenadas têm grande dispersão e outras, quase nenhuma. Arredondar esses números de maneira uniforme é ruim. Por isso, o método primeiro multiplica cada vetor por uma matriz ortogonal aleatória, ou seja, gira o vetor no espaço.

As distâncias e os produtos escalares não mudam, mas a dispersão entre as coordenadas fica equilibrada. Depois disso, cada número é arredondado para o valor mais próximo de uma pequena tabela pronta (o codebook de Lloyd–Max), a mesma para todos os conjuntos de dados. Não há nada para treinar, não é preciso amostra de calibração e também não é preciso armazenar tabelas separadas.

No Product Quantization clássico é diferente: o codebook precisa ser treinado com os seus dados e transportado junto com o índice.

O Qdrant não adotou o método "como está": misturou ideias do TurboQuant e do RaBitQ e acrescentou melhorias próprias:

  • Renormalização do comprimento. Os vetores comprimidos ficam um pouco mais curtos que os originais. O Qdrant guarda um coeficiente por vetor (os mesmos 4 bytes já reservados para o comprimento) e o multiplica no cálculo da similaridade.
  • Calibração por coordenada. A teoria foi derivada para vetores distribuídos uniformemente sobre a esfera, e embeddings reais nunca são assim. Por isso, para cada segmento, calcula-se uma única vez um deslocamento e uma escala para cada coordenada. A correção é aplicada do lado da consulta, então o armazenamento não cresce e o kernel de cálculo não muda. Em dados perfeitamente uniformes, o resultado coincide com o do TurboQuant comum.
  • Métricas. São suportadas a distância de cosseno, o produto escalar e a L2. A métrica L1 não é suportada: a rotação não preserva a norma L1, e para esse caso os autores recomendam continuar no SQ.

Das duas variantes do artigo original, o Qdrant escolheu a MSE. Ela permite comparar dois vetores comprimidos diretamente entre si (necessário, por exemplo, na construção do grafo HNSW) e se encaixa bem nas instruções inteiras AVX-VNNI, AVX-512 e NEON.

O que os benchmarks mostraram e o que fazer

A equipe comparou os métodos em conjuntos públicos de embeddings (a tabela completa cobre dez). Os resultados:

  • 4 bits contra SQ. Compressão de 8 vezes em vez de 4. Na maioria dos conjuntos, o recall fica 1–2 p.p. (pontos percentuais) abaixo do SQ, e em alguns o TurboQuant sai na frente: a grade int8 se ajusta mal à distribuição desses embeddings.
  • 2 bits contra BQ de 2 bits. Com os mesmos 16x de compressão, o TurboQuant lidera por 11–15 p.p. nos quatro conjuntos mostrados e por 9–24 p.p. nos dez.
  • 1 bit contra o BQ comum. Com os mesmos 32x de compressão, o ganho é de 9–21 p.p. A comparação é com a versão simples do BQ, em que tanto os vetores armazenados quanto a consulta ocupam 1 bit cada. A versão com consulta de 8 bits é analisada separadamente no artigo.

A recomendação dos autores é simples. Se você usa SQ, experimente o TurboQuant de 4 bits: você ocupa metade da memória com recall comparável. Se você usa BQ, adote o TurboQuant com o mesmo tamanho, ou seja, 2 bits no lugar de 2 ou 1 no lugar de 1, e encontre mais documentos com os mesmos gigabytes. A migração consiste em mudar a configuração e reindexar.

Há ressalvas. Os números vêm dos benchmarks do próprio Qdrant, então primeiro teste o método em uma amostra de teste com os seus dados e o seu modelo de embeddings. Se a sua busca se baseia na métrica L1, o TurboQuant não serve. Para os demais casos, é uma das formas mais baratas de reduzir a conta de memória sem reescrever a aplicação.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Quais eram as opções e o que mudou?

Antes, o Qdrant tinha dois caminhos principais. A quantização escalar SQ guarda cada número em um byte (int8): compressão de 4 vezes, com qualidade quase idêntica à do float32 na maioria dos embeddings. A quantização binária BQ guarda 1, 1,5 ou 2 bits por número, ou seja, comprime em 32, cerca de 21 ou 16 vezes. Só que o resultado depende muito do modelo de embeddings: funciona bem em modelos uniformes e bem treinados.

Como funciona, em termos simples?

Imagine que o vetor é um conjunto de centenas de números, em que algumas coordenadas têm grande dispersão e outras, quase nenhuma. Arredondar esses números de maneira uniforme é ruim. Por isso, o método primeiro multiplica cada vetor por uma matriz ortogonal aleatória, ou seja, gira o vetor no espaço. As distâncias e os produtos escalares não mudam, mas a dispersão entre as coordenadas fica equilibrada.

O que os benchmarks mostraram e o que fazer?

A equipe comparou os métodos em conjuntos públicos de embeddings (a tabela completa cobre dez). Os resultados: 4 bits contra SQ. Compressão de 8 vezes em vez de 4. Na maioria dos conjuntos, o recall fica 1–2 p.p. (pontos percentuais) abaixo do SQ, e em alguns o TurboQuant sai na frente: a grade int8 se ajusta mal à distribuição desses embeddings. 2 bits contra BQ de 2 bits. Com os mesmos 16x de compressão, o TurboQuant lidera por 11–15 p.p. nos quatro conjuntos mostrados e por 9–24 p.p. nos dez.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…