Qdrant compresse une page PDF à 64 octets en mémoire et conserve 99,2 % de la qualité de recherche
Les PDF riches en tableaux et graphiques se cherchent soit par OCR, qui peut perdre les liens entre les éléments d'une page, soit avec ColPali et ses environ mille vecteurs par page. Qdrant a montré qu'un seul vecteur par image suffit avec Cohere Embed 5 Pro : la RAM ne conserve que 64 octets au lieu de 8 Ko, tandis que les 20 meilleures pages sont réévaluées avec les vecteurs complets stockés sur disque. La qualité de recherche atteint 99,2 % de celle du vecteur complet. Pour les grandes archives de PDF, c'est une façon de se passer d'OCR sans faire exploser la RAM.
Traité par IA depuis Qdrant Blog ; édité par Hamidun News
Imaginez une archive de 10 millions de pages PDF contenant des rapports, des manuels et des tableaux, dans laquelle il faut trouver les réponses à des questions. Si l'on stocke les pages sous forme de vecteurs (des suites de nombres que la base compare pour évaluer le sens), la mémoire nécessaire à la recherche devient vite le premier poste de dépense. L'équipe de Qdrant a publié une recette pour faire tenir une page dans 64 octets de RAM au lieu de 8 Ko, tout en conservant 99,2 % de la qualité de recherche du vecteur complet.
Ici, 100 % correspond au score moyen nDCG@10 de 65,85. Cette métrique indique à quel point les pages pertinentes figurent en haut des résultats. Pour comparaison, 8 Ko correspondent à un vecteur de 2048 nombres au format float32, tandis que 64 octets représentent ce même vecteur compressé 128 fois.
Pourquoi un seul vecteur par page
Les réponses dans un PDF sont souvent cachées dans des graphiques, des tableaux et des diagrammes. La voie classique passe par l'OCR, c'est-à-dire la conversion de l'image en texte. Elle peut perdre les liens entre les mots, par exemple quel chiffre correspond à quelle colonne d'un tableau.
Pour une recherche sans OCR, Qdrant recommande généralement des modèles à interaction tardive comme ColPali et ColQwen. Ils stockent un vecteur distinct pour chaque petit fragment de l'image, et chaque mot de la requête est comparé au fragment qui lui correspond le mieux. C'est précis, mais cela représente environ mille vecteurs par page. La mesure de similarité MaxSim fonctionne mal avec un index HNSW classique, si bien que sur des milliards de points on doit recourir à des solutions de contournement comme MUVERA.
L'idéal serait un vecteur ordinaire par page. Les ingénieurs ne pensaient pas qu'un tel schéma pourrait rivaliser, mais ils l'ont testé par curiosité avec les modèles Cohere Embed 5. La famille en compte deux : Pro, de haute qualité, et Fast, plus légère. Les deux acceptent texte et images, maîtrisent plus de 100 langues et utilisent un espace vectoriel commun. Cohere a elle-même évalué ces modèles sur le benchmark ViDoRe V3 à partir du texte reconnu, tandis que Qdrant a fourni directement à Embed 5 Pro les images des pages.
Le test a porté sur cinq jeux de données anglophones de ViDoRe V3 : manuels d'informatique, rapports financiers, documents européens sur le marché du travail, instructions techniques de l'US Air Force et documents de la FDA. Au total, 12 969 pages et 1 489 questions. Avec un vecteur par page, Embed 5 Pro a obtenu un score supérieur à plusieurs modèles à interaction tardive.
Comment la page est descendue à 64 octets
La recette repose sur trois techniques :
- Représentation en poupées russes (MRL). Les premiers N nombres du vecteur portent le sens principal, on peut donc ne garder que les 512 premiers sur 2048.
- Quantification binaire. Pour chaque nombre, on ne conserve qu'un bit : supérieur à zéro ou non. 512 bits représentent 64 octets par page.
- Quantification asymétrique. Les pages sont stockées sur un bit, tandis que la requête reste sur 8 bits. Si l'on réduit à leur signe la page et la requête, chaque dimension vote de la même manière, même lorsque sa valeur est juste au-dessus de zéro. Avec une requête précise, les dimensions fortes pèsent davantage.
Plus le vecteur stocké est court, plus la requête précise aidait. Après une recherche grossière, les 20 meilleurs candidats sont réévalués avec les vecteurs complets, qui restent sur disque, tandis que seules les copies compactes demeurent en RAM. Résultat : 99,2 % de la qualité du vecteur complet, avec 128 fois moins de mémoire.
Selon une estimation pour 10 millions de pages, les vecteurs ColPali non compressés occupent environ 4,8 To, les vecteurs complets d'Embed 5 environ 76 Go, et les vecteurs de recherche selon la recette environ 610 Mo en RAM. Environ 95 Go de vecteurs complets et raccourcis restent sur disque.
Réserves et bonus avec Rerank 5
Il faut lire ces chiffres avec prudence. Les données d'entraînement d'Embed 5 ne sont pas publiées, il n'est donc pas exclu que le modèle ait déjà vu ces corpus. Les tests ont été menés en anglais, et cinq jeux de données ne remplacent pas vos propres documents. Le calcul de mémoire ne prend en compte que les octets des vecteurs, sans l'index ni les métadonnées. La lecture sur disque ralentit la recherche, et les vecteurs lus finissent par occuper la RAM libre dans le cache du système d'exploitation. Enfin, ces mesures émanent d'une entreprise qui vend une base de données vectorielle.
Enfin, Qdrant a évalué Cohere Rerank 5, sorti pendant la préparation de l'article. Ce modèle travaille sur le texte et non sur les images, il est donc utile à ceux qui utilisent déjà l'OCR. Les textes de ViDoRe V3 ont été indexés avec Embed 5 Pro, et Rerank 5 Pro a réordonné les 20 meilleures pages. Le nDCG@10 moyen est passé de 66,8 à 73,2, et avec le schéma de 64 octets de Qdrant, de 66,2 à 71,7.
Conclusion pratique : si votre archive se compose de rapports, de manuels et de présentations à mise en page complexe, testez Embed 5 Pro sur un petit échantillon de vos PDF et comparez avec votre chaîne OCR actuelle. Si la qualité est proche, l'économie de RAM sera sensible à grande échelle. Qdrant Cloud accepte en outre l'image de la page encodée en base64 et appelle lui-même Cohere, de sorte qu'aucune étape d'embedding séparée n'est nécessaire dans le code.
- 19 nov. 2026papr-embed-code-1 retrouve le code avec 3 points de plus que Qwen3, et son vecteur est compressé 31 fois
- 27 oct. 2026Un seul vecteur par document de 32K tokens trouve un détail dans 30 % des cas, contre 56 % pour les chunks
- 13 oct. 2026Perplexity publie deux modèles late interaction pour rechercher dans les pages PDF sans OCR
- 27 oct. 2026Qdrant compresse ses vecteurs par 8 avec une perte de rappel de seulement 1 à 2 points
Questions clés sur cet article
Pourquoi un seul vecteur par page?
Les réponses dans un PDF sont souvent cachées dans des graphiques, des tableaux et des diagrammes. La voie classique passe par l'OCR, c'est-à-dire la conversion de l'image en texte. Elle peut perdre les liens entre les mots, par exemple quel chiffre correspond à quelle colonne d'un tableau. Pour une recherche sans OCR, Qdrant recommande généralement des modèles à interaction tardive comme ColPali et ColQwen.
Comment la page est descendue à 64 octets?
La recette repose sur trois techniques : Représentation en poupées russes (MRL). Les premiers N nombres du vecteur portent le sens principal, on peut donc ne garder que les 512 premiers sur 2048. Quantification binaire. Pour chaque nombre, on ne conserve qu'un bit : supérieur à zéro ou non. 512 bits représentent 64 octets par page. Quantification asymétrique. Les pages sont stockées sur un bit, tandis que la requête reste sur 8 bits.
Que sait-on sur Réserves et bonus avec Rerank 5 ?
Il faut lire ces chiffres avec prudence. Les données d'entraînement d'Embed 5 ne sont pas publiées, il n'est donc pas exclu que le modèle ait déjà vu ces corpus. Les tests ont été menés en anglais, et cinq jeux de données ne remplacent pas vos propres documents. Le calcul de mémoire ne prend en compte que les octets des vecteurs, sans l'index ni les métadonnées. La lecture sur disque ralentit la recherche, et les vecteurs lus finissent par occuper la RAM libre dans le cache du système d'exploitation.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.