Qdrant comprime página de PDF para 64 bytes na memória e mantém 99,2% da qualidade da busca
PDFs com tabelas e gráficos costumam ser pesquisados via OCR, que perde as relações entre elementos da página, ou via ColPali, com mil vetores por página. A Qdrant mostrou que o Cohere Embed 5 Pro se vira com um único vetor por imagem: na memória ficam 64 bytes em vez de 8 KB, e as 20 melhores páginas são reavaliadas com os vetores completos guardados em disco. A qualidade da busca chega a 99,2% da versão completa. Para grandes acervos de PDF, é um jeito de dispensar o OCR sem inflar a RAM.
Processado por IA de Qdrant Blog; editado por Hamidun News
Imagine um acervo de 10 milhões de páginas de PDF com relatórios, manuais e tabelas, no qual é preciso encontrar respostas para perguntas. Se as páginas forem armazenadas como vetores (conjuntos de números que o banco usa para comparar significado), a memória para a busca rapidamente vira o principal item de custo. A equipe da Qdrant publicou uma receita para fazer uma página caber em 64 bytes de memória RAM em vez de 8 KB, mantendo 99,2% da qualidade de busca do vetor completo.
Aqui, 100% corresponde à nota média de nDCG@10 de 65,85. A métrica indica o quão alto, nos resultados, ficam as páginas relevantes. Para comparação: 8 KB é o tamanho de um vetor de 2048 números em float32, e 64 bytes é o mesmo vetor comprimido 128 vezes.
Por que usar um único vetor por página
As respostas em PDFs costumam estar escondidas em gráficos, tabelas e diagramas. O caminho clássico é o OCR, ou seja, converter a imagem em texto. Ele pode perder as relações entre as palavras: por exemplo, qual número pertence a qual coluna da tabela.
Para busca sem OCR, a Qdrant normalmente recomenda modelos de interação tardia, como ColPali e ColQwen. Eles guardam um vetor separado para cada pequeno fragmento da imagem, e cada palavra da consulta é comparada com o fragmento que melhor combina. É preciso, mas resulta em cerca de mil vetores por página. A medida de similaridade MaxSim funciona mal com o índice HNSW tradicional, então, em bilhões de pontos, é necessário recorrer a esquemas alternativos como o MUVERA.
O ideal seria um vetor comum por página. Os engenheiros não esperavam que esse esquema fosse competitivo, mas o testaram por curiosidade nos modelos Cohere Embed 5. A família tem dois modelos: o Pro, de maior qualidade, e o Fast, mais leve. Ambos aceitam texto e imagens, reconhecem mais de 100 idiomas e usam um espaço vetorial compartilhado. A própria Cohere os testou no benchmark ViDoRe V3 com texto reconhecido, enquanto a Qdrant passou ao Embed 5 Pro as imagens das páginas diretamente.
O teste usou cinco conjuntos de dados em inglês do ViDoRe V3: livros didáticos de ciência da computação, relatórios financeiros, documentos da UE sobre o mercado de trabalho, manuais técnicos da Força Aérea dos EUA e documentos da FDA. No total, foram 12 969 páginas e 1 489 perguntas. O Embed 5 Pro, com um único vetor por página, obteve nota superior à de vários modelos de interação tardia.
Como a página chegou a 64 bytes
A receita combina três técnicas:
- Representação Matryoshka (MRL). Os primeiros N números do vetor guardam o essencial do significado, então é possível manter os primeiros 512 dos 2048.
- Quantização binária. Para cada número, resta um bit: se ele é maior que zero ou não. 512 bits equivalem a 64 bytes por página.
- Quantização assimétrica. As páginas são armazenadas com 1 bit, mas a consulta permanece em 8 bits. Se tanto a página quanto a consulta forem reduzidas a sinais, cada dimensão vota com o mesmo peso, mesmo quando o valor está só um pouco acima de zero. Com a consulta precisa, as dimensões mais fortes pesam mais.
Quanto menor o vetor armazenado, maior a ajuda da consulta precisa. Depois da busca grosseira, os 20 melhores candidatos são reavaliados com os vetores completos guardados em disco, enquanto na RAM ficam apenas as cópias compactas. Resultado: 99,2% da qualidade do vetor completo e 128 vezes menos memória.
Na estimativa para 10 milhões de páginas, os vetores ColPali sem compressão ocupam cerca de 4,8 TB, os vetores completos do Embed 5 ocupam cerca de 76 GB, e os vetores de busca da receita ocupam cerca de 610 MB de RAM. Outros cerca de 95 GB, com vetores completos e encurtados, ficam em disco.
Ressalvas e um bônus com o Rerank 5
Os números devem ser lidos com cautela. Os dados de treinamento do Embed 5 não foram divulgados, então não dá para descartar que o modelo já tenha visto esses corpora. Os testes foram em inglês, e cinco conjuntos de dados ainda não representam os seus documentos. O cálculo de memória considera apenas os bytes dos vetores, sem índice nem metadados. A leitura do disco deixa a busca mais lenta, e os vetores lidos acabam ocupando a RAM livre no cache do sistema operacional. Por fim, são medições de uma empresa que vende um banco de dados vetorial.
No fim, a Qdrant avaliou o Cohere Rerank 5, lançado durante a preparação do post. Ele trabalha com texto, não com imagens, e por isso é útil para quem já usa OCR. Os textos do ViDoRe V3 foram indexados com o Embed 5 Pro, e o Rerank 5 Pro reordenou as 20 melhores páginas. O nDCG@10 médio subiu de 66,8 para 73,2 e, no esquema de 64 bytes da Qdrant, de 66,2 para 71,7.
Conclusão prática: se o seu acervo é composto de relatórios, manuais e apresentações com layout complexo, rode o Embed 5 Pro em uma pequena amostra dos seus PDFs e compare com o pipeline de OCR atual. Se a qualidade for próxima, a economia de RAM em escala será considerável. Além disso, o Qdrant Cloud aceita a imagem da página em base64 e chama a Cohere por conta própria, então não é preciso um passo separado de embeddings no código.
- 19 de nov. de 2026Modelo papr-embed-code-1 encontra código com precisão 3 p.p. maior que o Qwen3, e o vetor fica 31 vezes menor
- 27 de out. de 2026Um vetor por documento de 32K tokens encontra um detalhe em 30% dos casos; chunks, em 56%
- 13 de out. de 2026Perplexity lança dois modelos de late interaction para buscar em páginas de PDF sem OCR
- 27 de out. de 2026Qdrant comprime vetores em 8 vezes com perda de apenas 1–2 p.p. de recall
Perguntas frequentes sobre a notícia
Por que usar um único vetor por página?
As respostas em PDFs costumam estar escondidas em gráficos, tabelas e diagramas. O caminho clássico é o OCR, ou seja, converter a imagem em texto. Ele pode perder as relações entre as palavras: por exemplo, qual número pertence a qual coluna da tabela. Para busca sem OCR, a Qdrant normalmente recomenda modelos de interação tardia, como ColPali e ColQwen. Eles guardam um vetor separado para cada pequeno fragmento da imagem, e cada palavra da consulta é comparada com o fragmento que melhor combina.
Como a página chegou a 64 bytes?
A receita combina três técnicas: Representação Matryoshka (MRL). Os primeiros N números do vetor guardam o essencial do significado, então é possível manter os primeiros 512 dos 2048. Quantização binária. Para cada número, resta um bit: se ele é maior que zero ou não. 512 bits equivalem a 64 bytes por página. Quantização assimétrica. As páginas são armazenadas com 1 bit, mas a consulta permanece em 8 bits.
O que se sabe sobre Ressalvas e um bônus com o Rerank 5?
Os números devem ser lidos com cautela. Os dados de treinamento do Embed 5 não foram divulgados, então não dá para descartar que o modelo já tenha visto esses corpora. Os testes foram em inglês, e cinco conjuntos de dados ainda não representam os seus documentos. O cálculo de memória considera apenas os bytes dos vetores, sem índice nem metadados. A leitura do disco deixa a busca mais lenta, e os vetores lidos acabam ocupando a RAM livre no cache do sistema operacional.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.