Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarQdrant Articles→ original

Qdrant compresse ses vecteurs par 8 avec une perte de rappel de seulement 1 à 2 points

Une base vectorielle stocke les embeddings en float32, un format coûteux, et la mémoire devient rapidement le premier poste de dépense. Qdrant ajoute la compression TurboQuant : elle fait tourner aléatoirement chaque vecteur et stocke chaque nombre sur 1 à 4 bits au lieu de 32. En mode 4 bits, il faut 8 fois moins de place, et le rappel (la part des bons voisins retrouvés) n'est inférieur à celui de SQ, compressé par 4, que de 1 à 2 points. Si vous utilisez SQ ou BQ, testez TurboQuant sur un échantillon de test.

Traité par IA depuis Qdrant Articles ; édité par Hamidun News
Qdrant compresse ses vecteurs par 8 avec une perte de rappel de seulement 1 à 2 points
Source : Qdrant Articles. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireQdrant Articles ↗
Rédacteur en chef
Chiffre clé #12 bits contre BQ à compression égale (16 fois) : rappel supérieur de 9 à 24 points.
Chiffre clé #21 bit contre le BQ classique à compression 32 fois : gain de 9 à 21 points.
Chiffre clé #3La migration consiste à modifier la configuration puis à réindexer ; le paramètre memory nécessite Qdrant 1.19.

Si vous faites tourner une recherche vectorielle en production, vous savez où part la mémoire : dans les embeddings. Par défaut, chaque nombre d'un vecteur occupe 32 bits (float32), et les vecteurs se comptent parfois en millions. Pour économiser de la place, on les compresse, mais plus la compression est forte, plus la recherche risque de manquer les documents pertinents. L'équipe de Qdrant (les auteurs de l'article sont Ivan Pleshkov et Jonas Schulz) a ajouté une nouvelle méthode de compression baptisée TurboQuant et montre qu'elle l'emporte sur deux anciennes variantes, soit en mémoire, soit en qualité.

Quelles étaient les options et qu'est-ce qui a changé

Jusqu'ici, Qdrant proposait deux voies principales. La quantification scalaire SQ stocke chaque nombre sur un octet (int8) : compression par 4, avec une qualité presque identique à celle du float32 sur la plupart des embeddings. La quantification binaire BQ stocke 1, 1,5 ou 2 bits par nombre, soit une compression par 32, environ 21 ou 16. Mais son résultat dépend fortement du modèle d'embeddings : elle fonctionne bien sur des modèles aux distributions régulières et bien entraînés.

TurboQuant ajoute quatre modes : 4 bits par nombre (compression par 8), 2 bits (par 16), 1,5 bit (environ par 21) et 1 bit (par 32). On l'active dans le bloc quantization_config de la collection : il suffit de choisir la profondeur en bits (bits2, etc.) et, si besoin, de fixer les données en mémoire avec le paramètre memory. Ce paramètre nécessite Qdrant 1.19 ; sur la version 1.18, il faut le retirer.

Le principe, en clair

Imaginez un vecteur comme une série de centaines de nombres, où certaines coordonnées varient beaucoup et d'autres presque pas. Arrondir uniformément de tels nombres est peu efficace. La méthode multiplie donc d'abord chaque vecteur par une matrice orthogonale aléatoire, c'est-à-dire qu'elle le fait pivoter dans l'espace. Les distances et les produits scalaires restent inchangés, mais la dispersion entre coordonnées s'homogénéise. Chaque nombre est ensuite arrondi à la valeur la plus proche d'une petite table précalculée (le codebook de Lloyd-Max), identique pour tous les jeux de données. Rien à entraîner, pas besoin d'échantillon de calibration, pas de tables à stocker séparément. Le Product Quantization classique fonctionne autrement : son codebook doit être entraîné sur vos données et transporté avec l'index.

Qdrant n'a pas repris la méthode telle quelle. Il a combiné les idées de TurboQuant et de RaBitQ, en y ajoutant ses propres améliorations :

  • Renormalisation de la longueur. Les vecteurs compressés sont légèrement plus courts que les originaux. Qdrant stocke pour chaque vecteur un coefficient unique (les mêmes 4 octets déjà réservés à la longueur) et l'applique au calcul de similarité.
  • Calibration par coordonnée. La théorie suppose des vecteurs répartis uniformément sur la sphère, ce que ne sont pas les embeddings réels. Pour chaque segment, on calcule donc une fois un décalage et une échelle propres à chaque coordonnée. La correction est appliquée côté requête : le stockage n'augmente pas et le noyau de calcul ne change pas. Sur des données parfaitement uniformes, le résultat est identique à celui du TurboQuant classique.
  • Métriques. Le cosinus, le produit scalaire et L2 sont pris en charge. La métrique L1 ne l'est pas : la rotation ne conserve pas la norme L1, et les auteurs recommandent de rester sur SQ pour ce cas.

Parmi les deux variantes de l'article original, Qdrant a retenu MSE. Elle permet de comparer directement deux vecteurs compressés entre eux (ce qui sert, par exemple, à construire le graphe HNSW) et s'intègre bien aux instructions entières AVX-VNNI, AVX-512 et NEON.

Ce que disent les benchmarks, et que faire

L'équipe a comparé les méthodes sur des jeux d'embeddings publics (le tableau complet porte sur dix jeux). Les résultats :

  • 4 bits contre SQ. Compression par 8 au lieu de 4. Sur la plupart des jeux, le rappel est inférieur à celui de SQ de 1 à 2 points (points de pourcentage), mais sur certains, TurboQuant fait mieux : la grille int8 s'adapte mal à la distribution de ces embeddings.
  • 2 bits contre BQ 2 bits. À compression égale (16 fois), TurboQuant prend l'avantage de 11 à 15 points sur quatre jeux présentés et de 9 à 24 points sur les dix.
  • 1 bit contre BQ classique. À compression égale (32 fois), le gain est de 9 à 21 points. Il s'agit de la version simple de BQ, où les vecteurs stockés et la requête occupent chacun 1 bit. La variante avec requête sur 8 bits fait l'objet d'un article séparé.

La recommandation des auteurs est simple. Si vous êtes sous SQ, essayez TurboQuant sur 4 bits : vous divisez la mémoire par deux pour un rappel comparable. Si vous êtes sous BQ, passez à TurboQuant à volume équivalent, soit 2 bits au lieu de 2 ou 1 bit au lieu de 1, et vous retrouvez davantage de documents pour le même nombre de gigaoctets. La migration consiste à modifier la configuration puis à réindexer.

Quelques réserves toutefois. Les chiffres proviennent des benchmarks de Qdrant lui-même : vérifiez d'abord la méthode sur un échantillon de vos propres données et de votre propre modèle d'embeddings. Si votre recherche repose sur la métrique L1, TurboQuant ne vous convient pas. Pour les autres cas, c'est l'un des moyens les moins coûteux de réduire la facture mémoire, sans réécrire l'application.

Dossier

Questions clés sur cet article

Que sait-on sur Quelles étaient les options et qu'est-ce qui a changé ?

Jusqu'ici, Qdrant proposait deux voies principales. La quantification scalaire SQ stocke chaque nombre sur un octet (int8) : compression par 4, avec une qualité presque identique à celle du float32 sur la plupart des embeddings. La quantification binaire BQ stocke 1, 1,5 ou 2 bits par nombre, soit une compression par 32, environ 21 ou 16. Mais son résultat dépend fortement du modèle d'embeddings : elle fonctionne bien sur des modèles aux distributions régulières et bien entraînés.

Que sait-on sur Le principe, en clair ?

Imaginez un vecteur comme une série de centaines de nombres, où certaines coordonnées varient beaucoup et d'autres presque pas. Arrondir uniformément de tels nombres est peu efficace. La méthode multiplie donc d'abord chaque vecteur par une matrice orthogonale aléatoire, c'est-à-dire qu'elle le fait pivoter dans l'espace. Les distances et les produits scalaires restent inchangés, mais la dispersion entre coordonnées s'homogénéise.

Que sait-on sur Ce que disent les benchmarks, et que faire ?

L'équipe a comparé les méthodes sur des jeux d'embeddings publics (le tableau complet porte sur dix jeux). Les résultats : 4 bits contre SQ. Compression par 8 au lieu de 4. Sur la plupart des jeux, le rappel est inférieur à celui de SQ de 1 à 2 points (points de pourcentage), mais sur certains, TurboQuant fait mieux : la grille int8 s'adapte mal à la distribution de ces embeddings. 2 bits contre BQ 2 bits.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…