Um vetor por documento de 32K tokens encontra um detalhe em 30% dos casos; chunks, em 56%
O chunking consiste em dividir um documento em pedaços, e o UltraBERT, com janela de 32 mil tokens, prometia eliminá-lo: o texto inteiro cabe em um único vetor. O Qdrant testou isso com ensaios em que se inseria uma única frase estranha: com 32K tokens, o vetor inteiro encontrou o ensaio certo em 30% dos casos, e chunks de 512 tokens, em 56%. Com 256 tokens, o mesmo vetor acertou em 84% dos casos. Para a busca por detalhes, os chunks continuam sendo a base.
Processado por IA de Qdrant Blog; editado por Hamidun News
Quem já montou uma busca em documentos ou um RAG esbarrou na mesma questão: em que pedaços cortar o texto. Se o trecho for pequeno demais, perde contexto. Se for grande demais, o modelo de embeddings o trunca. O UltraBERT, do DMIS Lab, prometia resolver o problema: aceita até 32 mil tokens e gera um único vetor de 768 dimensões para o documento inteiro. Nesse cenário, o corte em chunks (trechos de tamanho fixo, como 512 tokens) pareceria desnecessário. A equipe do Qdrant testou isso na prática. A resposta curta é: por enquanto, ainda é necessário.
O que foi comparado
O UltraBERT é um modelo denso de embeddings com 151 milhões de parâmetros. Ele é baseado em um encoder em inglês treinado para entradas de 32K tokens, de modo que a maioria dos documentos é processada em uma única passagem.
O Qdrant comparou quatro abordagens: um vetor para o documento inteiro, chunks de 512 tokens, as duas combinadas e tudo isso em forma comprimida. Os documentos dos testes são longos, com média de 7.600 a 13.
800 tokens. As tarefas eram diferentes: encontrar a transcrição de um episódio a partir de sua sinopse, responder a uma pergunta que exige vários artigos da Wikipédia, localizar um trecho em uma reunião. Havia ainda dois testes sintéticos: em um, uma senha estava escondida no texto; no outro, uma única frase fora do tema era inserida em um ensaio, e era preciso encontrar o ensaio a partir de uma pergunta sobre ela.
Para a verificação em grande escala, usaram 200.000 artigos em inglês da Wikipédia e 800 perguntas, cada uma sobre um artigo.
Os chunks ainda encontram os detalhes
O vetor inteiro de fato lê todos os 32K tokens. Na tarefa da senha, ele colocou o documento certo em primeiro lugar em 99% dos casos em todos os comprimentos, e com 32K tokens não errou nenhuma vez. Mas na maioria das outras tarefas os chunks foram mais precisos.
Os chunks venceram quando a resposta está espalhada por vários parágrafos: no 2WikiMultihopQA, no QMSum e no MLDR. O vetor inteiro só ganhou no SummScreenFD, onde a consulta descreve o episódio como um todo.
O teste com a frase estranha mostra bem o motivo. Imagine um ensaio longo no qual se insere uma frase fora do tema. Um único vetor não consegue preservar cada detalhe desse tipo. Com 256 tokens, o vetor inteiro encontrou o ensaio certo em 84% dos casos; com 32K tokens, apenas em 30%. Os chunks de 512 tokens, no mesmo comprimento, chegaram a 56%.
A abordagem híbrida, que busca tanto pelo vetor inteiro quanto pelos chunks e funde os resultados, ajudou pouco. No SummScreenFD e no Needle, o ganho foi de até 0,02 e 0,03 na escala da métrica, ou seja, 2 a 3 pontos em 100. No 2WikiMultihopQA, no QMSum e no MLDR, o híbrido ficou pior que só os chunks, sobretudo no MLDR.
Quanto custam os chunks e como comprimi-los
O principal argumento contra os chunks é o número de vetores. Os artigos do MLDR são divididos, em média, em 7 chunks, o que deu 1,43 milhão de vetores. Em float32, isso ocupa cerca de 4 GB.
A quantização reduz cada vetor de 3.072 bytes para 104 bytes, ou seja, 30 vezes menor. Os 200.000 artigos ocupam cerca de 140 MB de memória RAM. Cada chunk foi armazenado como um ponto separado no Qdrant, e a consulta em grupo retornava cada artigo apenas uma vez.
Em comparação com a busca exata, os vetores comprimidos mantiveram 95% da qualidade, e 98% com o rescoring (recálculo com os vetores originais). Os vetores não comprimidos, no mesmo índice, chegaram a 99%. O rescoring tem um custo: no teste, os vetores originais ficavam em disco, e sua leitura acrescentava de 4 a 11 ms por consulta. Com o cache de disco frio, a latência ultrapassava 100 ms.
O vetor inteiro comprime pior que os chunks. No MLDR, com 1 bit, ele manteve 89% da qualidade. Com 2 bits, o resultado igualou o do vetor não comprimido no mesmo índice. Por isso, vale começar com 2 bits ou manter o rescoring.
O que fazer na prática
Documentos inteiros também saem mais caros. Gerar embeddings da transcrição completa do SummScreenFD levou cerca de 3 vezes mais tempo do que gerar embeddings de chunks de 512 tokens, na NVIDIA L4.
Recomendações do Qdrant:
- Para a busca por detalhes, comece com chunks de 512 tokens.
- Para perguntas sobre fatos isolados, experimente 256 tokens.
- A compressão torna os vetores extras mais acessíveis, mas a qualidade e a latência do rescoring devem ser verificadas com as suas próprias consultas.
O UltraBERT também tem outro uso. É possível buscar primeiro pelos documentos inteiros para identificar o tema e, depois, procurar a resposta dentro dos chunks dos documentos encontrados. Os autores consideram que esse esquema em duas etapas merece ser testado, principalmente porque a simples combinação das duas buscas não ajudou de forma consistente.
Limitação do estudo: os testes foram feitos em inglês e em benchmarks específicos, e os números no seu próprio corpus podem ser diferentes. Mesmo assim, a conclusão é clara: a janela de 32K tokens dá mais liberdade para escolher o que um vetor representa, mas não elimina a necessidade de fatiar o texto.
- 21 de mai. de 2026Sistemas RAG quebram com dados reais: o culpado é o retrieval, não o modelo
- 25 de jan. de 2024A OpenAI cortou em 5 vezes o preço dos embeddings para RAG: US$ 0,02 em vez de US$ 0,10 por milhão de tokens
- 30 de abr. de 202610 abordagens de RAG que realmente funcionam em produção: do básico ao GraphRAG
- 9 de out. de 2026RAG com 11 000 arquivos confundia códigos de produto e entregava dados da máquina errada
Perguntas frequentes sobre a notícia
O que foi comparado?
O UltraBERT é um modelo denso de embeddings com 151 milhões de parâmetros. Ele é baseado em um encoder em inglês treinado para entradas de 32K tokens, de modo que a maioria dos documentos é processada em uma única passagem. O Qdrant comparou quatro abordagens: um vetor para o documento inteiro, chunks de 512 tokens, as duas combinadas e tudo isso em forma comprimida. Os documentos dos testes são longos, com média de 7.600 a 13.800 tokens.
O que se sabe sobre Os chunks ainda encontram os detalhes?
O vetor inteiro de fato lê todos os 32K tokens. Na tarefa da senha, ele colocou o documento certo em primeiro lugar em 99% dos casos em todos os comprimentos, e com 32K tokens não errou nenhuma vez. Mas na maioria das outras tarefas os chunks foram mais precisos. Os chunks venceram quando a resposta está espalhada por vários parágrafos: no 2WikiMultihopQA, no QMSum e no MLDR. O vetor inteiro só ganhou no SummScreenFD, onde a consulta descreve o episódio como um todo.
O que se sabe sobre Quanto custam os chunks e como comprimi-los?
O principal argumento contra os chunks é o número de vetores. Os artigos do MLDR são divididos, em média, em 7 chunks, o que deu 1,43 milhão de vetores. Em float32, isso ocupa cerca de 4 GB. A quantização reduz cada vetor de 3.072 bytes para 104 bytes, ou seja, 30 vezes menor. Os 200.000 artigos ocupam cerca de 140 MB de memória RAM. Cada chunk foi armazenado como um ponto separado no Qdrant, e a consulta em grupo retornava cada artigo apenas uma vez.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.