Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarQdrant Blog→ original

Qdrant compresse une page PDF à 64 octets en mémoire et conserve 99,2 % de la qualité de recherche

Les PDF riches en tableaux et graphiques se cherchent soit par OCR, qui peut perdre les liens entre les éléments d'une page, soit avec ColPali et ses environ mille vecteurs par page. Qdrant a montré qu'un seul vecteur par image suffit avec Cohere Embed 5 Pro : la RAM ne conserve que 64 octets au lieu de 8 Ko, tandis que les 20 meilleures pages sont réévaluées avec les vecteurs complets stockés sur disque. La qualité de recherche atteint 99,2 % de celle du vecteur complet. Pour les grandes archives de PDF, c'est une façon de se passer d'OCR sans faire exploser la RAM.

Traité par IA depuis Qdrant Blog ; édité par Hamidun News
Qdrant compresse une page PDF à 64 octets en mémoire et conserve 99,2 % de la qualité de recherche
Source : Qdrant Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireQdrant Blog ↗
Rédacteur en chef
Chiffre clé #1512 bits par page en RAM, soit 128 fois moins qu'un vecteur complet
10 millions de pagesenviron 4,8 To pour ColPali, environ 610 Mo de RAM avec la recette de Qdrant
Chiffre clé #3Rerank 5 Pro fait passer la qualité de recherche sur texte OCR de 66,8 à 73,2 points

Imaginez une archive de 10 millions de pages PDF contenant des rapports, des manuels et des tableaux, dans laquelle il faut trouver les réponses à des questions. Si l'on stocke les pages sous forme de vecteurs (des suites de nombres que la base compare pour évaluer le sens), la mémoire nécessaire à la recherche devient vite le premier poste de dépense. L'équipe de Qdrant a publié une recette pour faire tenir une page dans 64 octets de RAM au lieu de 8 Ko, tout en conservant 99,2 % de la qualité de recherche du vecteur complet.

Ici, 100 % correspond au score moyen nDCG@10 de 65,85. Cette métrique indique à quel point les pages pertinentes figurent en haut des résultats. Pour comparaison, 8 Ko correspondent à un vecteur de 2048 nombres au format float32, tandis que 64 octets représentent ce même vecteur compressé 128 fois.

Pourquoi un seul vecteur par page

Les réponses dans un PDF sont souvent cachées dans des graphiques, des tableaux et des diagrammes. La voie classique passe par l'OCR, c'est-à-dire la conversion de l'image en texte. Elle peut perdre les liens entre les mots, par exemple quel chiffre correspond à quelle colonne d'un tableau.

Pour une recherche sans OCR, Qdrant recommande généralement des modèles à interaction tardive comme ColPali et ColQwen. Ils stockent un vecteur distinct pour chaque petit fragment de l'image, et chaque mot de la requête est comparé au fragment qui lui correspond le mieux. C'est précis, mais cela représente environ mille vecteurs par page. La mesure de similarité MaxSim fonctionne mal avec un index HNSW classique, si bien que sur des milliards de points on doit recourir à des solutions de contournement comme MUVERA.

L'idéal serait un vecteur ordinaire par page. Les ingénieurs ne pensaient pas qu'un tel schéma pourrait rivaliser, mais ils l'ont testé par curiosité avec les modèles Cohere Embed 5. La famille en compte deux : Pro, de haute qualité, et Fast, plus légère. Les deux acceptent texte et images, maîtrisent plus de 100 langues et utilisent un espace vectoriel commun. Cohere a elle-même évalué ces modèles sur le benchmark ViDoRe V3 à partir du texte reconnu, tandis que Qdrant a fourni directement à Embed 5 Pro les images des pages.

Le test a porté sur cinq jeux de données anglophones de ViDoRe V3 : manuels d'informatique, rapports financiers, documents européens sur le marché du travail, instructions techniques de l'US Air Force et documents de la FDA. Au total, 12 969 pages et 1 489 questions. Avec un vecteur par page, Embed 5 Pro a obtenu un score supérieur à plusieurs modèles à interaction tardive.

Comment la page est descendue à 64 octets

La recette repose sur trois techniques :

  • Représentation en poupées russes (MRL). Les premiers N nombres du vecteur portent le sens principal, on peut donc ne garder que les 512 premiers sur 2048.
  • Quantification binaire. Pour chaque nombre, on ne conserve qu'un bit : supérieur à zéro ou non. 512 bits représentent 64 octets par page.
  • Quantification asymétrique. Les pages sont stockées sur un bit, tandis que la requête reste sur 8 bits. Si l'on réduit à leur signe la page et la requête, chaque dimension vote de la même manière, même lorsque sa valeur est juste au-dessus de zéro. Avec une requête précise, les dimensions fortes pèsent davantage.

Plus le vecteur stocké est court, plus la requête précise aidait. Après une recherche grossière, les 20 meilleurs candidats sont réévalués avec les vecteurs complets, qui restent sur disque, tandis que seules les copies compactes demeurent en RAM. Résultat : 99,2 % de la qualité du vecteur complet, avec 128 fois moins de mémoire.

Selon une estimation pour 10 millions de pages, les vecteurs ColPali non compressés occupent environ 4,8 To, les vecteurs complets d'Embed 5 environ 76 Go, et les vecteurs de recherche selon la recette environ 610 Mo en RAM. Environ 95 Go de vecteurs complets et raccourcis restent sur disque.

Réserves et bonus avec Rerank 5

Il faut lire ces chiffres avec prudence. Les données d'entraînement d'Embed 5 ne sont pas publiées, il n'est donc pas exclu que le modèle ait déjà vu ces corpus. Les tests ont été menés en anglais, et cinq jeux de données ne remplacent pas vos propres documents. Le calcul de mémoire ne prend en compte que les octets des vecteurs, sans l'index ni les métadonnées. La lecture sur disque ralentit la recherche, et les vecteurs lus finissent par occuper la RAM libre dans le cache du système d'exploitation. Enfin, ces mesures émanent d'une entreprise qui vend une base de données vectorielle.

Enfin, Qdrant a évalué Cohere Rerank 5, sorti pendant la préparation de l'article. Ce modèle travaille sur le texte et non sur les images, il est donc utile à ceux qui utilisent déjà l'OCR. Les textes de ViDoRe V3 ont été indexés avec Embed 5 Pro, et Rerank 5 Pro a réordonné les 20 meilleures pages. Le nDCG@10 moyen est passé de 66,8 à 73,2, et avec le schéma de 64 octets de Qdrant, de 66,2 à 71,7.

Conclusion pratique : si votre archive se compose de rapports, de manuels et de présentations à mise en page complexe, testez Embed 5 Pro sur un petit échantillon de vos PDF et comparez avec votre chaîne OCR actuelle. Si la qualité est proche, l'économie de RAM sera sensible à grande échelle. Qdrant Cloud accepte en outre l'image de la page encodée en base64 et appelle lui-même Cohere, de sorte qu'aucune étape d'embedding séparée n'est nécessaire dans le code.

Dossier

Questions clés sur cet article

Pourquoi un seul vecteur par page?

Les réponses dans un PDF sont souvent cachées dans des graphiques, des tableaux et des diagrammes. La voie classique passe par l'OCR, c'est-à-dire la conversion de l'image en texte. Elle peut perdre les liens entre les mots, par exemple quel chiffre correspond à quelle colonne d'un tableau. Pour une recherche sans OCR, Qdrant recommande généralement des modèles à interaction tardive comme ColPali et ColQwen.

Comment la page est descendue à 64 octets?

La recette repose sur trois techniques : Représentation en poupées russes (MRL). Les premiers N nombres du vecteur portent le sens principal, on peut donc ne garder que les 512 premiers sur 2048. Quantification binaire. Pour chaque nombre, on ne conserve qu'un bit : supérieur à zéro ou non. 512 bits représentent 64 octets par page. Quantification asymétrique. Les pages sont stockées sur un bit, tandis que la requête reste sur 8 bits.

Que sait-on sur Réserves et bonus avec Rerank 5 ?

Il faut lire ces chiffres avec prudence. Les données d'entraînement d'Embed 5 ne sont pas publiées, il n'est donc pas exclu que le modèle ait déjà vu ces corpus. Les tests ont été menés en anglais, et cinq jeux de données ne remplacent pas vos propres documents. Le calcul de mémoire ne prend en compte que les octets des vecteurs, sans l'index ni les métadonnées. La lecture sur disque ralentit la recherche, et les vecteurs lus finissent par occuper la RAM libre dans le cache du système d'exploitation.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…