Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieAnalyse · Sur le radarQdrant Blog→ original

papr-embed-code-1 retrouve le code avec 3 points de plus que Qwen3, et son vecteur est compressé 31 fois

Qdrant a cherché à savoir si la recherche dans le code nécessite un modèle d'embeddings spécialisé. Sur du code inconnu, papr-embed-code-1 trouve le bon résultat plus souvent que Qwen3-Embedding, dont il dérive : la version 4B gagne 3,4 points de pourcentage de nDCG@10, la version 0.6B en gagne 2,6. Sur du texte courant, les deux modèles perdent légèrement du terrain : pour la prose, mieux vaut donc garder le modèle de base. Quant à la compression du vecteur 4B à 1 bit, elle le rend 31 fois plus léger.

Traité par IA depuis Qdrant Blog ; édité par Hamidun News
papr-embed-code-1 retrouve le code avec 3 points de plus que Qwen3, et son vecteur est compressé 31 fois
Source : Qdrant Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireQdrant Blog ↗
Rédacteur en chef
Vecteur 4B328 octets en 1 bit, contre 10 Ko en float32
Chiffre clé #2Le 4B en 1 bit est plus précis que le 0.6B en float32 et occupe 12 fois moins de RAM
L'hybride avec BM25 n'a pas aidéà poids égal, la qualité a chuté de 2 à 17 points de pourcentage

Imaginez que vous construisiez un moteur de recherche pour une grande base de code : un développeur écrit « fonction qui lit un CSV et renvoie un dictionnaire », et le système doit retrouver la bonne fonction parmi des centaines de milliers. Pour cela, on transforme le code en vecteurs d'embeddings, et une question se pose : faut-il choisir un modèle affiné spécifiquement sur du code, ou un bon modèle généraliste suffit-il ? L'équipe de Qdrant a testé la question sur le modèle ouvert papr-embed-code-1, construit sur Qwen3-Embedding.

Résultat : sur du code que le modèle n'a pas vu pendant l'entraînement, il est plus précis que le modèle d'origine de 3,4 points de pourcentage (version 4B) et de 2,6 points (version 0.6B) en nDCG@10. Cette métrique indique à quelle hauteur, parmi les dix premiers résultats, se trouvent les bonnes réponses ; les « points de pourcentage » correspondent ici à 0,034 sur une échelle de 0 à 1.

Et si l'on compresse chaque vecteur à 1 bit, il devient 31 fois plus léger : 328 octets au lieu de 10 Ko.

Pourquoi il ne faut pas croire Papr sur parole

papr-embed-code-1 est un Qwen3-Embedding entraîné en plus à la recherche dans le code. Il existe en deux tailles, 0.6B et 4B, et les poids sont ouverts. Papr revendique des résultats records sur le benchmark CoIR, mais précise elle-même dans la fiche du modèle qu'elle s'est entraînée sur la quasi-totalité de ses données d'entraînement. Un score élevé sur ce benchmark ne dit donc pas grand-chose.

Qdrant a donc posé une question plus étroite : le modèle fait-il mieux que sa version de base sur du code qu'il n'a jamais vu ? Les tests couvrent la recherche d'une fonction Python à partir de la description d'une tâche, la recherche de fichiers d'une bibliothèque à partir d'une question Stack Overflow, l'association d'une requête SQL à une question sur une table, et la mise en correspondance d'un programme avec sa version dans un autre langage. Les deux modèles ont reçu les mêmes instructions pour les requêtes.

Qdrant a reproduit les chiffres de Papr à 0,001 nDCG@10 près. L'exception concerne les tâches comportant beaucoup de documents identiques, où le résultat dépend de la façon dont les égalités sont départagées. Qdrant y a obtenu 62,5 % et 65,0 %, contre 72,0 % et 72,3 % annoncés.

Un gain sur le code, aucun sur la prose

Sur du code inconnu, les deux modèles dépassent le modèle de base, et ce sur chaque tâche, mais l'ampleur du gain varie. Sur HumanEval, le 4B de base atteignait déjà 98 % : il n'y a presque rien à gagner. Sur WikiSQL, la version 4B progresse de 7,0 points de pourcentage.

Sur du texte courant, c'est l'inverse : le 0.6B perd en moyenne 0,3 point de pourcentage, le 4B en perd 1,6. Sur TREC-COVID (articles scientifiques sur le COVID-19), la version 0.6B recule de 6,5 points de pourcentage. Si vous cherchez surtout dans de la prose, restez donc sur le modèle de base.

L'essentiel de l'économie vient de la compression des vecteurs

Le code produit énormément de vecteurs : un par fonction ou par fragment de fichier. Chez le 4B, un vecteur compte 2560 valeurs et occupe environ 10 Ko en float32. Avec la quantification 1 bit TurboQuant, il pèse 328 octets. Sur sept tâches de code, la compression sans seconde vérification a conservé 99,7 % de la qualité du float32 ; avec réévaluation des candidats (rescoring avec une marge de 2x), elle l'a conservée en totalité.

D'où un choix peu intuitif : le 4B en 1 bit obtient un meilleur score que le 0.6B en float32, tout en occupant 12 fois moins de mémoire vive. Le prix à payer, c'est la vitesse : le 4B calcule les embeddings environ quatre fois plus lentement sur le même GPU. Et sur WikiSQL, le plus petit modèle est tout de même passé devant.

Qdrant a aussi testé le passage à grande échelle : 1 005 474 fragments de code dans six langages au sein d'une même collection, avec une recherche limitée au langage de la requête. La recherche exhaustive donne 92,3 %. Avec le paramètre HNSW ef=128, la recherche 1 bit avec rescoring conserve 99,5 % de ce résultat, contre 99,7 % pour le float32, et s'exécute plus vite : 1,0 ms par requête contre 1,8 ms. Porter ef à 256 ajoute 0,2 à 0,4 point de pourcentage de nDCG@10, et la recherche 1 bit prend 1,4 ms contre 2,9 ms pour le float32. Sans filtre sur le langage, la qualité baisse de 0,5 à 0,7 point de pourcentage.

BM25 associé à la recherche vectorielle n'a pas aidé

Le code regorge de noms exacts, et la recherche par mots-clés BM25 semblait un complément naturel ; Qdrant 1.20 a même ajouté pour elle un tokenizer dédié au code. Mais seul, BM25 décroche nettement : sur APPS, où la requête est l'énoncé d'un problème et le document une solution brute, il n'atteint que 1 %, car les mots en commun sont quasi inexistants.

La fusion avec la recherche vectorielle à poids égaux dégrade chaque tâche de 2 à 17 points de pourcentage pour le 4B. Avec un poids de 0,1 pour BM25, le résultat est inférieur de 0,06 point de pourcentage à celui de la recherche vectorielle seule, et le meilleur gain, toutes tâches confondues, est de 0,2 point de pourcentage.

Que faire en pratique

Pour la recherche dans le code, un modèle affiné se justifie ; pour la prose, non. Si vous pouvez vous offrir le 4B, stockez-le en 1 bit avec le rescoring activé, et augmentez d'abord ef plutôt que le nombre de bits. Comparez le résultat à une collection non compressée sur vos propres requêtes : une fois sans rescoring, une fois avec une marge de 2x. Si une collection regroupe plusieurs langages, filtrez par langage. Mieux vaut ne pas activer BM25 ; si vos utilisateurs cherchent des identifiants exacts, testez-le séparément et avec un faible poids. Gardez en tête que le test de Qdrant repose sur leur propre jeu de tâches : sur votre corpus, les chiffres peuvent différer.

Dossier

Questions clés sur cet article

Pourquoi il ne faut pas croire Papr sur parole?

papr-embed-code-1 est un Qwen3-Embedding entraîné en plus à la recherche dans le code. Il existe en deux tailles, 0.6B et 4B, et les poids sont ouverts. Papr revendique des résultats records sur le benchmark CoIR, mais précise elle-même dans la fiche du modèle qu'elle s'est entraînée sur la quasi-totalité de ses données d'entraînement. Un score élevé sur ce benchmark ne dit donc pas grand-chose.

Que sait-on sur Un gain sur le code, aucun sur la prose ?

Sur du code inconnu, les deux modèles dépassent le modèle de base, et ce sur chaque tâche, mais l'ampleur du gain varie. Sur HumanEval, le 4B de base atteignait déjà 98 % : il n'y a presque rien à gagner. Sur WikiSQL, la version 4B progresse de 7,0 points de pourcentage. Sur du texte courant, c'est l'inverse : le 0.6B perd en moyenne 0,3 point de pourcentage, le 4B en perd 1,6. Sur TREC-COVID (articles scientifiques sur le COVID-19), la version 0.6B recule de 6,5 points de pourcentage.

Que sait-on sur L'essentiel de l'économie vient de la compression des vecteurs ?

Le code produit énormément de vecteurs : un par fonction ou par fragment de fichier. Chez le 4B, un vecteur compte 2560 valeurs et occupe environ 10 Ko en float32. Avec la quantification 1 bit TurboQuant, il pèse 328 octets. Sur sept tâches de code, la compression sans seconde vérification a conservé 99,7 % de la qualité du float32 ; avec réévaluation des candidats (rescoring avec une marge de 2x), elle l'a conservée en totalité.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…