Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarQdrant Blog→ original

Qdrant 1.20 effectue une recherche par mots-clés sans embeddings et accélère les filtres imbriqués de 7 à 38 fois

Qdrant 1.20 classe les résultats de recherche par mots-clés (algorithme BM25) directement à partir du texte stocké dans les champs de l'enregistrement : les embeddings et les vecteurs épars ne sont plus nécessaires. Auparavant, chaque document passait par un modèle et il fallait suivre soi-même la longueur moyenne des textes ; désormais, Qdrant calcule ces statistiques tout seul. Les filtres imbriqués, comme « une offre de magasin à moins de N euros », s'exécutent de 7 à 38 fois plus vite grâce au nouvel index sur les éléments de tableau. Pour un RAG hybride, il vaut la peine de tester la migration sur un cluster de test.

Traité par IA depuis Qdrant Blog ; édité par Hamidun News
Qdrant 1.20 effectue une recherche par mots-clés sans embeddings et accélère les filtres imbriqués de 7 à 38 fois
Source : Qdrant Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireQdrant Blog ↗
Rédacteur en chef
Test100 000 points, trois filtres imbriqués, payload déjà en mémoire
Chiffre clé #2Le TurboQuant 16 bits divise par deux la taille des vecteurs float32 sans perte de précision
Chiffre clé #3Le TurboQuant 8 bits est plus précis que la quantification scalaire sur 10 jeux de données sur 11

Si vous construisez un RAG ou un moteur de recherche documentaire, vous connaissez le compromis gênant : la recherche vectorielle capte bien le sens, mais trouve moins bien les mots exacts, les noms de fonctions et les références. C'est pourquoi on lui adjoint généralement une recherche classique par mots-clés, classée avec BM25. Il s'agit d'une formule qui détermine quel document est le plus pertinent : plus un terme de la requête apparaît souvent dans le texte, et plus il est rare dans le reste de la base, plus le résultat est bien classé.

Dans la version 1.20 de Qdrant, cette couche est devenue plus simple : BM25 se calcule directement à partir du texte déjà présent dans les champs de l'enregistrement (payload), sans embeddings. Par ailleurs, les filtres imbriqués sur des tableaux d'objets, par exemple sur la liste des offres de magasins pour un même produit, sont 7 à 38 fois plus rapides.

Les vecteurs compressés et les réglages de sécurité du cluster ont également été améliorés.

BM25 directement à partir du texte, sans embeddings

Auparavant, pour classer une recherche plein texte avec BM25, il fallait transformer le texte en vecteurs épars. Chaque document et chaque requête passaient par une étape d'inférence distincte. La longueur moyenne des documents devait être suivie manuellement : elle était intégrée à chaque vecteur stocké. Si les données changeaient, il fallait reconvertir toute la collection pour la mettre à jour.

Dans la version 1.20, BM25 fonctionne sur un index plein texte. Vous créez un index sur un champ, par exemple le titre d'un livre, activez le calcul BM25 et lancez directement une recherche, par exemple « time travel ».

Qdrant calcule lui-même les statistiques, y compris la longueur moyenne des documents, à partir des données ; les scores sont donc précis sans réglage manuel. Les paramètres BM25 peuvent être modifiés au niveau de la requête, sans reconstruire l'index. Cette requête fonctionne partout dans la Query API, y compris dans un schéma hybride combiné à des vecteurs denses.

L'ancienne approche par vecteurs épars reste prise en charge. Si le texte est déjà présent dans le payload, vous pouvez passer à l'index sans recharger les données.

Un tokenizer dédié à la recherche de code a également fait son apparition. Le tokenizer est la règle qui découpe le texte en mots recherchables. Le tokenizer habituel découpe la chaîne selon les espaces et la ponctuation, alors que dans le code, un identifiant agglutine plusieurs mots écrits selon différentes conventions. Le nouveau tokenizer les découpe selon les tirets bas et les changements de casse, y compris pour les acronymes, de sorte que les variantes en snake_case et en camelCase se retrouvent. L'identifiant complet est par ailleurs également indexé.

Filtres imbriqués plus rapides et vecteurs plus compacts

Imaginez un produit avec plusieurs offres, chacune avec son magasin et son prix. Un filtre imbriqué recherche les produits pour lesquels une même offre satisfait toutes les conditions à la fois : le bon magasin et un prix inférieur au seuil. Auparavant, les index ne faisaient que réduire le nombre de candidats, puis Qdrant lisait le payload de chacun, généralement depuis le disque. Lorsque les candidats restaient nombreux, le filtre ralentissait.

Désormais, vous pouvez créer un index sur les éléments d'un tableau, chaque élément étant stocké séparément. Si toutes les conditions du filtre reposent sur de tels index d'un même tableau, la réponse est assemblée sans lecture du payload. L'API ne change pas : les requêtes existantes gagnent en vitesse dès la création des index. Dans un test sur 100 000 points et trois filtres imbriqués, le gain va de 7 à 38 fois, même lorsque tous les payloads sont déjà en mémoire. Depuis le disque, selon les auteurs, l'écart est probablement encore plus grand.

La quantification s'enrichit de deux types de TurboQuant. La variante 16 bits divise par deux la taille des vecteurs float32 sans perte de précision. Elle applique d'abord une rotation TurboQuant, qui répartit uniformément les valeurs entre les coordonnées.

C'est important pour les embeddings présentant quelques coordonnées très grandes, comme ada-002, CLIP et Cohere. Sur 13 jeux de données, l'erreur de reconstruction des vecteurs est 7,5 fois plus faible qu'avec float16. Sur 12 jeux de données, la proportion de voisins corrects trouvés dans le top 10 (recall@10) ne s'écarte pas de plus de 0,1 point de pourcentage de la recherche exacte, alors que float16 descend à 99,5 % sur ada-002 et CLIP.

La latence médiane de recherche sur l'index HNSW atteint 81 % de celle de float16 sur x86 et 83 % sur ARM.

Le TurboQuant 8 bits accepte des vecteurs float classiques et les quantifie lui-même. Il compresse les données environ quatre fois, contre huit fois pour la variante 4 bits. Avec une latence comparable, il offre un rappel supérieur à celui de la quantification scalaire sur 10 jeux de données sur 11, et un résultat équivalent sur le dernier.

Sécurité, mémoire et mise à jour

Le tracker d'ID fait correspondre l'ID d'un point à son emplacement interne et à sa version. Il résidait auparavant toujours en RAM, à raison d'environ 52 octets par point, soit de l'ordre de 5 Go pour 100 millions de points. Il peut désormais être conservé sur le disque : soit avec une lecture à la demande, soit avec un chargement dans le cache de pages à l'ouverture du segment. Par défaut, il reste en RAM.

Le port gRPC interne du cluster exige désormais une authentification lorsqu'une clé API est définie, et n'accepte que les clés disposant du droit d'écriture. Le port peut être lié à une interface privée dédiée. Par ailleurs, les snapshots sont désormais pris en charge sur GCS et Azure Blob Storage, les journaux d'audit peuvent être envoyés vers stdout ou stderr, et le fuseau horaire des logs se configure par variable d'environnement.

La mise à jour comporte des pièges. Il faut procéder par une version mineure à la fois, par exemple 1.18 → 1.19 → 1.20. Les clusters dont seule une clé en lecture seule est configurée devront être corrigés avant la mise à niveau. Le stockage inline ne conserve désormais les vecteurs originaux que dans le fichier de l'index HNSW ; ils suivent donc son niveau de mémoire, et la consommation de RAM peut augmenter. Avant la mise à jour, vérifiez vos réglages de niveaux de mémoire.

En pratique : si votre recherche hybride repose sur des vecteurs BM25 épars, testez la migration vers un index plein texte. Pour les grandes collections, mesurez TurboQuant sur vos propres embeddings : les résultats sur vos données peuvent différer des benchmarks des auteurs.

Dossier

Questions clés sur cet article

Que sait-on sur BM25 directement à partir du texte, sans embeddings ?

Auparavant, pour classer une recherche plein texte avec BM25, il fallait transformer le texte en vecteurs épars. Chaque document et chaque requête passaient par une étape d'inférence distincte. La longueur moyenne des documents devait être suivie manuellement : elle était intégrée à chaque vecteur stocké. Si les données changeaient, il fallait reconvertir toute la collection pour la mettre à jour. Dans la version 1.20, BM25 fonctionne sur un index plein texte.

Que sait-on sur Filtres imbriqués plus rapides et vecteurs plus compacts ?

Imaginez un produit avec plusieurs offres, chacune avec son magasin et son prix. Un filtre imbriqué recherche les produits pour lesquels une même offre satisfait toutes les conditions à la fois : le bon magasin et un prix inférieur au seuil. Auparavant, les index ne faisaient que réduire le nombre de candidats, puis Qdrant lisait le payload de chacun, généralement depuis le disque. Lorsque les candidats restaient nombreux, le filtre ralentissait.

Que sait-on sur Sécurité, mémoire et mise à jour ?

Le tracker d'ID fait correspondre l'ID d'un point à son emplacement interne et à sa version. Il résidait auparavant toujours en RAM, à raison d'environ 52 octets par point, soit de l'ordre de 5 Go pour 100 millions de points. Il peut désormais être conservé sur le disque : soit avec une lecture à la demande, soit avec un chargement dans le cache de pages à l'ouverture du segment. Par défaut, il reste en RAM.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…