Modelo papr-embed-code-1 encontra código com precisão 3 p.p. maior que o Qwen3, e o vetor fica 31 vezes menor
A Qdrant verificou se a busca em código realmente exige um modelo de embeddings especializado. Em código que o modelo não viu no treinamento, o papr-embed-code-1 encontra o resultado certo com mais precisão que o Qwen3-Embedding original: a versão 4B fica 3,4 p.p. à frente na métrica nDCG@10, e a versão 0.6B, 2,6 p.p. Em textos comuns, as duas perdem um pouco, então para prosa vale manter o modelo base. Já a compressão do vetor da 4B para 1 bit o deixa 31 vezes menor.
Processado por IA de Qdrant Blog; editado por Hamidun News
Imagine que você está montando uma busca para uma base de código grande: o desenvolvedor escreve «função que lê um CSV e retorna um dicionário», e o sistema precisa achar a função certa entre centenas de milhares. Para isso, o código é convertido em vetores de embeddings, e surge a dúvida: usar um modelo ajustado especificamente para código ou basta um modelo generalista forte? A equipe da Qdrant testou isso com o modelo aberto papr-embed-code-1, construído sobre o Qwen3-Embedding.
O resultado: em código que o modelo não viu no treinamento, ele é mais preciso que o original em 3,4 p.p. (versão 4B) e 2,6 p.
p. (versão 0.6B) na métrica nDCG@10.
Essa métrica mostra o quão alto, entre os dez primeiros resultados, aparecem as respostas corretas; «p.p.» significa pontos percentuais, ou seja, 0,034 em uma escala de 0 a 1.
E, se cada vetor for comprimido para 1 bit, ele fica 31 vezes menor: 328 bytes em vez de 10 KB.
Por que não dá para confiar nos números de destaque da Papr
O papr-embed-code-1 é o Qwen3-Embedding com treinamento adicional em busca de código. Há dois tamanhos, 0.6B e 4B, e os pesos são abertos. A Papr afirma ter resultados recordes no benchmark CoIR, mas ela mesma escreve no model card que treinou com quase todos os dados de treino desse benchmark. Uma pontuação alta ali diz pouco.
Por isso, a Qdrant fez uma pergunta mais restrita: o modelo supera a própria versão base em código que não viu? Os testes incluíram a escolha de uma função Python a partir da descrição da tarefa, a busca por arquivos de uma biblioteca a partir de uma pergunta do Stack Overflow, a seleção de uma consulta SQL para uma pergunta sobre uma tabela e a correspondência de um programa com sua versão em outra linguagem. Os dois modelos receberam as mesmas instruções nas consultas.
A Qdrant reproduziu os números da própria Papr com precisão de 0,001 nDCG@10. A exceção são as tarefas com muitos documentos idênticos, em que o resultado depende de como os empates são resolvidos. Nelas, a Qdrant obteve 62,5% e 65,0%, contra 72,0% e 72,3% declarados.
O ganho aparece no código, mas não na prosa
Em código inédito, as duas versões ficaram à frente da base, e isso em todas as tarefas, mas o tamanho do ganho varia. No HumanEval, a 4B base já chegava a 98%, então havia pouco a acrescentar. No WikiSQL, a versão 4B subiu 7,0 p.p.
Em textos comuns, o quadro se inverte: a 0.6B perdeu em média 0,3 p.p., e a 4B, 1,6 p.p. No TREC-COVID (artigos científicos sobre a COVID-19), a versão 0.6B caiu 6,5 p.p. Por isso, se você busca principalmente em prosa, fique com o modelo base.
A principal economia está na compressão dos vetores
Um código vira muitos vetores: um para cada função ou trecho de arquivo. Na 4B, o vetor tem 2560 números e ocupa cerca de 10 KB em float32. Com a quantização de 1 bit do TurboQuant, ele pesa 328 bytes. Em sete tarefas de código, a compressão sem nova verificação manteve 99,7% da qualidade do float32, e com reavaliação dos candidatos (rescoring com margem de 2x), manteve toda a qualidade.
Disso sai uma escolha pouco óbvia: a 4B em 1 bit pontua mais que a 0.6B em float32 e ocupa 12 vezes menos memória RAM. O custo é a velocidade: a 4B calcula embeddings cerca de quatro vezes mais devagar na mesma placa de vídeo. E, no WikiSQL, o modelo menor ainda saiu na frente.
A Qdrant também testou em grande escala: 1 005 474 fragmentos de código em seis linguagens em uma única coleção, com a busca restrita à linguagem da consulta. A busca exata chega a 92,3%. Com o parâmetro HNSW ef=128, a busca de 1 bit com reavaliação manteve 99,5% desse resultado, contra 99,7% do float32, e foi mais rápida: 1,0 ms por consulta contra 1,8 ms. Aumentar o ef para 256 acrescentou de 0,2 a 0,4 p.p. de nDCG@10, e a busca de 1 bit levou 1,4 ms contra 2,9 ms do float32. Sem o filtro por linguagem, a qualidade cai de 0,5 a 0,7 p.p.
O BM25 combinado com a busca vetorial não ajudou
O código tem muitos nomes exatos, e a busca por palavras-chave BM25 parecia um auxiliar natural; no Qdrant 1.20, aliás, foi adicionado até um tokenizador para código. Mas o BM25 sozinho ficou bem atrás: no APPS, em que a consulta é o enunciado da tarefa e o documento é só a solução, ele marcou 1%, porque quase não há palavras em comum. A fusão com a busca vetorial, com pesos iguais, piorou todas as tarefas de 2 a 17 p.p. para a 4B. Com peso de 0,1 para o BM25, o resultado ficou 0,06 p.p. abaixo do da busca vetorial isolada, e o melhor ganho em qualquer tarefa foi de 0,2 p.p.
O que fazer na prática
Para busca em código, um modelo ajustado se justifica; para prosa, não. Se você pode arcar com a 4B, armazene-a em 1 bit com a reavaliação ativada e aumente primeiro o ef, e não o número de bits. Compare o resultado com a coleção não comprimida usando suas próprias consultas: uma vez sem reavaliação e outra com margem de 2x. Se houver várias linguagens na mesma coleção, filtre por linguagem. O melhor é não ativar o BM25; se os usuários buscam identificadores exatos, teste-o separadamente e com peso baixo. Lembre-se: o teste da Qdrant usa o conjunto de tarefas da própria empresa, e no seu corpus os números podem ser diferentes.
- 13 de out. de 2026Perplexity lança dois modelos de late interaction para buscar em páginas de PDF sem OCR
- 8 de nov. de 2026Cohere mantém 98,4% da qualidade de busca em consultas rápidas
- 27 de fev. de 2026Perplexity lança pplx-embed, modelos de embeddings voltados à busca em escala de toda a web
- 18 de nov. de 2026O embedder pplx encontra o scan certo de primeira em 68% dos casos; o EmbeddingGemma, em 38%
Perguntas frequentes sobre a notícia
Por que não dá para confiar nos números de destaque da Papr?
O papr-embed-code-1 é o Qwen3-Embedding com treinamento adicional em busca de código. Há dois tamanhos, 0.6B e 4B, e os pesos são abertos. A Papr afirma ter resultados recordes no benchmark CoIR, mas ela mesma escreve no model card que treinou com quase todos os dados de treino desse benchmark. Uma pontuação alta ali diz pouco. Por isso, a Qdrant fez uma pergunta mais restrita: o modelo supera a própria versão base em código que não viu?
O que se sabe sobre O ganho aparece no código, mas não na prosa?
Em código inédito, as duas versões ficaram à frente da base, e isso em todas as tarefas, mas o tamanho do ganho varia. No HumanEval, a 4B base já chegava a 98%, então havia pouco a acrescentar. No WikiSQL, a versão 4B subiu 7,0 p.p. Em textos comuns, o quadro se inverte: a 0.6B perdeu em média 0,3 p.p., e a 4B, 1,6 p.p. No TREC-COVID (artigos científicos sobre a COVID-19), a versão 0.6B caiu 6,5 p.p. Por isso, se você busca principalmente em prosa, fique com o modelo base.
O que se sabe sobre A principal economia está na compressão dos vetores?
Um código vira muitos vetores: um para cada função ou trecho de arquivo. Na 4B, o vetor tem 2560 números e ocupa cerca de 10 KB em float32. Com a quantização de 1 bit do TurboQuant, ele pesa 328 bytes. Em sete tarefas de código, a compressão sem nova verificação manteve 99,7% da qualidade do float32, e com reavaliação dos candidatos (rescoring com margem de 2x), manteve toda a qualidade. Disso sai uma escolha pouco óbvia: a 4B em 1 bit pontua mais que a 0.6B em float32 e ocupa 12 vezes menos memória RAM.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.