Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarQdrant Blog→ original

Qdrant 1.20 faz busca por palavras sem embeddings e acelera filtros aninhados em 7–38 vezes

O Qdrant 1.20 ranqueia buscas por palavras (algoritmo BM25) diretamente sobre o texto armazenado nos campos do registro, sem a necessidade de embeddings ou vetores esparsos. Antes, cada documento precisava passar por um modelo, e a média de tamanho dos textos era acompanhada manualmente. Agora o próprio Qdrant faz esse cálculo. Filtros aninhados, como "oferta da loja mais barata que N", ficam de 7 a 38 vezes mais rápidos com o novo índice sobre elementos de array. Para RAG híbrido, vale testar a migração em um cluster de teste.

Processado por IA de Qdrant Blog; editado por Hamidun News
Qdrant 1.20 faz busca por palavras sem embeddings e acelera filtros aninhados em 7–38 vezes
Fonte: Qdrant Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalQdrant Blog ↗
Editor-chefe
Teste100 mil pontos, três filtros aninhados, payload já em memória
Dado-chave #2O TurboQuant de 16 bits reduza pela metade os vetores float32 sem perda de precisão
Dado-chave #3O TurboQuant de 8 bits supera a quantização escalar em recall em 10 dos 11 datasets

Se você constrói RAG ou busca em documentos, conhece o incômodo de um compromisso: a busca vetorial captura bem o significado, mas encontra com menos eficiência palavras exatas, nomes de funções e códigos de artigo. Por isso, ao lado dela costuma-se colocar a busca clássica por palavras-chave com ranqueamento BM25. É uma fórmula que decide qual documento é mais relevante: quanto mais o termo da consulta aparece no texto e quanto mais raro ele é no restante da base, maior a pontuação.

No lançamento do Qdrant 1.20, essa camada ficou mais simples: o BM25 é calculado diretamente sobre o texto que já está nos campos do registro (payload), sem embeddings. Além disso, filtros aninhados em arrays de objetos, como a lista de ofertas de lojas de um mesmo produto, rodam de 7 a 38 vezes mais rápido.

Também chegaram vetores mais compactos e configurações mais seguras para o cluster.

BM25 direto do texto, sem embeddings

Antes, para ranquear a busca textual por BM25, era preciso converter o texto em vetores esparsos. Cada documento e cada consulta passavam por uma etapa separada de inferência. O tamanho médio dos documentos tinha de ser monitorado manualmente, pois ficava gravado em cada vetor armazenado. Se os dados mudassem, a única forma de atualizá-lo era reconverter toda a coleção.

Na versão 1.20, o BM25 funciona sobre o índice de texto completo. Você cria um índice sobre um campo, por exemplo o título de um livro, ativa a contagem BM25 e pesquisa, digamos, "time travel". As estatísticas, incluindo o tamanho médio dos documentos, são calculadas pelo próprio Qdrant a partir dos dados, então as pontuações são precisas sem ajuste manual. Os parâmetros do BM25 podem ser alterados no nível da consulta, sem necessidade de reconstruir o índice. Essa consulta funciona em toda a Query API, inclusive em esquemas híbridos junto com vetores densos. A abordagem antiga, com vetores esparsos, continua suportada. Se o texto já estiver no payload, é possível migrar para o índice sem recarregar os dados.

Para busca em código, surgiu um tokenizador específico, ou seja, a regra que divide o texto nas palavras pesquisáveis. O tokenizador comum separa a string por espaços e sinais de pontuação, mas, em código, um identificador junta várias palavras em estilos de escrita diferentes. O novo tokenizador separa esses termos por sublinhados e mudanças de maiúsculas e minúsculas, incluindo siglas, de modo que variantes em snake_case e camelCase se encontram. O identificador completo também é indexado.

Filtros aninhados mais rápidos e vetores mais compactos

Imagine um produto com várias ofertas, cada uma com sua loja e preço. Um filtro aninhado busca produtos em que uma mesma oferta atenda a todas as condições ao mesmo tempo: a loja certa e preço abaixo de um limite. Antes, os índices apenas reduziam o conjunto de candidatos, e depois o Qdrant lia o payload de cada um, geralmente do disco. Quando sobravam muitos candidatos, o filtro ficava lento.

Agora é possível criar um índice sobre os elementos do array, em que cada elemento é armazenado separadamente. Se todas as condições do filtro se apoiarem em índices desse mesmo array, a resposta é montada sem ler o payload. A API não muda, então as consultas existentes ficam mais rápidas assim que os índices são criados. No teste com 100 mil pontos e três filtros aninhados, o ganho foi de 7 a 38 vezes, mesmo com todo o payload já em memória. Com o dado em disco, segundo os autores, a diferença deve ser ainda maior.

A quantização ganhou dois tipos de TurboQuant. A variante de 16 bits reduz pela metade o tamanho dos vetores float32 sem perda de precisão. Ela aplica primeiro uma rotação TurboQuant, que distribui os valores de forma uniforme entre as coordenadas.

Isso é importante para embeddings com algumas coordenadas muito grandes, como os de ada-002, CLIP e Cohere. Em 13 datasets, o erro de reconstrução do vetor ficou 7,5 vezes menor do que o do float16. Em 12 datasets, a fração de vizinhos corretos no top-10 (recall@10) ficou a no máximo 0,1 p.

p. da busca exata, enquanto o float16 em ada-002 e CLIP caiu para 99,5%. A latência mediana da busca no índice HNSW ficou em 81% da do float16 em x86 e 83% em ARM.

O TurboQuant de 8 bits aceita vetores float comuns e os quantiza sozinho. Ele comprime os dados cerca de quatro vezes, contra oito do equivalente de 4 bits. Com latência semelhante, em 10 dos 11 datasets de teste apresentou recall superior ao da quantização escalar e, no restante, resultado igual.

Segurança, memória e atualização

O rastreador de IDs associa o ID de um ponto à sua localização interna e versão. Antes ele ficava sempre na RAM, cerca de 52 bytes por ponto, ou algo em torno de 5 GB para 100 milhões de pontos. Agora pode ficar em disco, seja com leitura sob demanda, seja com carregamento no cache de páginas ao abrir o segmento. Por padrão, continua na RAM.

A porta gRPC interna do cluster, quando há uma chave de API definida, passa a exigir autenticação por padrão e aceita apenas chaves com permissão de escrita. A porta pode ser vinculada a uma interface privada dedicada. Também surgiram snapshots no GCS e no Azure Blob Storage, envio dos logs de auditoria para stdout ou stderr e fuso horário dos logs definido por variável de ambiente.

A atualização tem armadilhas. Deve ser feita uma versão menor por vez, por exemplo 1.18 → 1.19 → 1.20. Clusters que usam apenas uma chave somente leitura precisarão de ajustes antes do upgrade. O armazenamento inline agora mantém os vetores originais apenas no arquivo do índice HNSW, então eles seguem o nível de memória desse índice, e o consumo de RAM pode aumentar. Antes de atualizar, revise as configurações dos níveis de memória.

A conclusão prática: se a busca híbrida depende de vetores esparsos BM25, teste a migração para o índice de texto completo. Em coleções grandes, meça o TurboQuant com seus próprios embeddings, pois os resultados nos seus dados podem diferir dos benchmarks dos autores.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre BM25 direto do texto, sem embeddings?

Antes, para ranquear a busca textual por BM25, era preciso converter o texto em vetores esparsos. Cada documento e cada consulta passavam por uma etapa separada de inferência. O tamanho médio dos documentos tinha de ser monitorado manualmente, pois ficava gravado em cada vetor armazenado. Se os dados mudassem, a única forma de atualizá-lo era reconverter toda a coleção. Na versão 1.20, o BM25 funciona sobre o índice de texto completo.

O que se sabe sobre Filtros aninhados mais rápidos e vetores mais compactos?

Imagine um produto com várias ofertas, cada uma com sua loja e preço. Um filtro aninhado busca produtos em que uma mesma oferta atenda a todas as condições ao mesmo tempo: a loja certa e preço abaixo de um limite. Antes, os índices apenas reduziam o conjunto de candidatos, e depois o Qdrant lia o payload de cada um, geralmente do disco. Quando sobravam muitos candidatos, o filtro ficava lento. Agora é possível criar um índice sobre os elementos do array, em que cada elemento é armazenado separadamente.

O que se sabe sobre Segurança, memória e atualização?

O rastreador de IDs associa o ID de um ponto à sua localização interna e versão. Antes ele ficava sempre na RAM, cerca de 52 bytes por ponto, ou algo em torno de 5 GB para 100 milhões de pontos. Agora pode ficar em disco, seja com leitura sob demanda, seja com carregamento no cache de páginas ao abrir o segmento. Por padrão, continua na RAM. A porta gRPC interna do cluster, quando há uma chave de API definida, passa a exigir autenticação por padrão e aceita apenas chaves com permissão de escrita.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…