Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarQdrant Blog→ original

Modelo papr-embed-code-1 encontra código com precisão 3 p.p. maior que o Qwen3, e o vetor fica 31 vezes menor

A Qdrant verificou se a busca em código realmente exige um modelo de embeddings especializado. Em código que o modelo não viu no treinamento, o papr-embed-code-1 encontra o resultado certo com mais precisão que o Qwen3-Embedding original: a versão 4B fica 3,4 p.p. à frente na métrica nDCG@10, e a versão 0.6B, 2,6 p.p. Em textos comuns, as duas perdem um pouco, então para prosa vale manter o modelo base. Já a compressão do vetor da 4B para 1 bit o deixa 31 vezes menor.

Processado por IA de Qdrant Blog; editado por Hamidun News
Modelo papr-embed-code-1 encontra código com precisão 3 p.p. maior que o Qwen3, e o vetor fica 31 vezes menor
Fonte: Qdrant Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalQdrant Blog ↗
Editor-chefe
Vetor da 4B328 bytes em 1 bit, contra 10 KB em float32
Dado-chave #2A 4B com 1 bit é mais precisa que a 0.6B em float32 e ocupa 12 vezes menos RAM
O híbrido com BM25 não ajudoucom pesos iguais, a qualidade caiu de 2 a 17 p.p.

Imagine que você está montando uma busca para uma base de código grande: o desenvolvedor escreve «função que lê um CSV e retorna um dicionário», e o sistema precisa achar a função certa entre centenas de milhares. Para isso, o código é convertido em vetores de embeddings, e surge a dúvida: usar um modelo ajustado especificamente para código ou basta um modelo generalista forte? A equipe da Qdrant testou isso com o modelo aberto papr-embed-code-1, construído sobre o Qwen3-Embedding.

O resultado: em código que o modelo não viu no treinamento, ele é mais preciso que o original em 3,4 p.p. (versão 4B) e 2,6 p.

p. (versão 0.6B) na métrica nDCG@10.

Essa métrica mostra o quão alto, entre os dez primeiros resultados, aparecem as respostas corretas; «p.p.» significa pontos percentuais, ou seja, 0,034 em uma escala de 0 a 1.

E, se cada vetor for comprimido para 1 bit, ele fica 31 vezes menor: 328 bytes em vez de 10 KB.

Por que não dá para confiar nos números de destaque da Papr

O papr-embed-code-1 é o Qwen3-Embedding com treinamento adicional em busca de código. Há dois tamanhos, 0.6B e 4B, e os pesos são abertos. A Papr afirma ter resultados recordes no benchmark CoIR, mas ela mesma escreve no model card que treinou com quase todos os dados de treino desse benchmark. Uma pontuação alta ali diz pouco.

Por isso, a Qdrant fez uma pergunta mais restrita: o modelo supera a própria versão base em código que não viu? Os testes incluíram a escolha de uma função Python a partir da descrição da tarefa, a busca por arquivos de uma biblioteca a partir de uma pergunta do Stack Overflow, a seleção de uma consulta SQL para uma pergunta sobre uma tabela e a correspondência de um programa com sua versão em outra linguagem. Os dois modelos receberam as mesmas instruções nas consultas.

A Qdrant reproduziu os números da própria Papr com precisão de 0,001 nDCG@10. A exceção são as tarefas com muitos documentos idênticos, em que o resultado depende de como os empates são resolvidos. Nelas, a Qdrant obteve 62,5% e 65,0%, contra 72,0% e 72,3% declarados.

O ganho aparece no código, mas não na prosa

Em código inédito, as duas versões ficaram à frente da base, e isso em todas as tarefas, mas o tamanho do ganho varia. No HumanEval, a 4B base já chegava a 98%, então havia pouco a acrescentar. No WikiSQL, a versão 4B subiu 7,0 p.p.

Em textos comuns, o quadro se inverte: a 0.6B perdeu em média 0,3 p.p., e a 4B, 1,6 p.p. No TREC-COVID (artigos científicos sobre a COVID-19), a versão 0.6B caiu 6,5 p.p. Por isso, se você busca principalmente em prosa, fique com o modelo base.

A principal economia está na compressão dos vetores

Um código vira muitos vetores: um para cada função ou trecho de arquivo. Na 4B, o vetor tem 2560 números e ocupa cerca de 10 KB em float32. Com a quantização de 1 bit do TurboQuant, ele pesa 328 bytes. Em sete tarefas de código, a compressão sem nova verificação manteve 99,7% da qualidade do float32, e com reavaliação dos candidatos (rescoring com margem de 2x), manteve toda a qualidade.

Disso sai uma escolha pouco óbvia: a 4B em 1 bit pontua mais que a 0.6B em float32 e ocupa 12 vezes menos memória RAM. O custo é a velocidade: a 4B calcula embeddings cerca de quatro vezes mais devagar na mesma placa de vídeo. E, no WikiSQL, o modelo menor ainda saiu na frente.

A Qdrant também testou em grande escala: 1 005 474 fragmentos de código em seis linguagens em uma única coleção, com a busca restrita à linguagem da consulta. A busca exata chega a 92,3%. Com o parâmetro HNSW ef=128, a busca de 1 bit com reavaliação manteve 99,5% desse resultado, contra 99,7% do float32, e foi mais rápida: 1,0 ms por consulta contra 1,8 ms. Aumentar o ef para 256 acrescentou de 0,2 a 0,4 p.p. de nDCG@10, e a busca de 1 bit levou 1,4 ms contra 2,9 ms do float32. Sem o filtro por linguagem, a qualidade cai de 0,5 a 0,7 p.p.

O BM25 combinado com a busca vetorial não ajudou

O código tem muitos nomes exatos, e a busca por palavras-chave BM25 parecia um auxiliar natural; no Qdrant 1.20, aliás, foi adicionado até um tokenizador para código. Mas o BM25 sozinho ficou bem atrás: no APPS, em que a consulta é o enunciado da tarefa e o documento é só a solução, ele marcou 1%, porque quase não há palavras em comum. A fusão com a busca vetorial, com pesos iguais, piorou todas as tarefas de 2 a 17 p.p. para a 4B. Com peso de 0,1 para o BM25, o resultado ficou 0,06 p.p. abaixo do da busca vetorial isolada, e o melhor ganho em qualquer tarefa foi de 0,2 p.p.

O que fazer na prática

Para busca em código, um modelo ajustado se justifica; para prosa, não. Se você pode arcar com a 4B, armazene-a em 1 bit com a reavaliação ativada e aumente primeiro o ef, e não o número de bits. Compare o resultado com a coleção não comprimida usando suas próprias consultas: uma vez sem reavaliação e outra com margem de 2x. Se houver várias linguagens na mesma coleção, filtre por linguagem. O melhor é não ativar o BM25; se os usuários buscam identificadores exatos, teste-o separadamente e com peso baixo. Lembre-se: o teste da Qdrant usa o conjunto de tarefas da própria empresa, e no seu corpus os números podem ser diferentes.

História

Perguntas frequentes sobre a notícia

Por que não dá para confiar nos números de destaque da Papr?

O papr-embed-code-1 é o Qwen3-Embedding com treinamento adicional em busca de código. Há dois tamanhos, 0.6B e 4B, e os pesos são abertos. A Papr afirma ter resultados recordes no benchmark CoIR, mas ela mesma escreve no model card que treinou com quase todos os dados de treino desse benchmark. Uma pontuação alta ali diz pouco. Por isso, a Qdrant fez uma pergunta mais restrita: o modelo supera a própria versão base em código que não viu?

O que se sabe sobre O ganho aparece no código, mas não na prosa?

Em código inédito, as duas versões ficaram à frente da base, e isso em todas as tarefas, mas o tamanho do ganho varia. No HumanEval, a 4B base já chegava a 98%, então havia pouco a acrescentar. No WikiSQL, a versão 4B subiu 7,0 p.p. Em textos comuns, o quadro se inverte: a 0.6B perdeu em média 0,3 p.p., e a 4B, 1,6 p.p. No TREC-COVID (artigos científicos sobre a COVID-19), a versão 0.6B caiu 6,5 p.p. Por isso, se você busca principalmente em prosa, fique com o modelo base.

O que se sabe sobre A principal economia está na compressão dos vetores?

Um código vira muitos vetores: um para cada função ou trecho de arquivo. Na 4B, o vetor tem 2560 números e ocupa cerca de 10 KB em float32. Com a quantização de 1 bit do TurboQuant, ele pesa 328 bytes. Em sete tarefas de código, a compressão sem nova verificação manteve 99,7% da qualidade do float32, e com reavaliação dos candidatos (rescoring com margem de 2x), manteve toda a qualidade. Disso sai uma escolha pouco óbvia: a 4B em 1 bit pontua mais que a 0.6B em float32 e ocupa 12 vezes menos memória RAM.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…