Un seul vecteur par document de 32K tokens trouve un détail dans 30 % des cas, contre 56 % pour les chunks
Le chunking consiste à découper un document en morceaux, et le modèle UltraBERT, avec sa fenêtre de 32 000 tokens, promettait de s'en passer : tout le texte tient dans un seul vecteur. Qdrant a testé cette idée sur des essais dans lesquels une seule phrase étrangère avait été insérée : à 32K tokens, un vecteur unique retrouvait l'essai pertinent dans 30 % des cas, contre 56 % pour des chunks de 512 tokens. À 256 tokens, le même vecteur atteignait 84 %. Pour la recherche de détails, les chunks restent donc la base.
Traité par IA depuis Qdrant Blog ; édité par Hamidun News
Quiconque a mis en place une recherche documentaire ou un RAG s'est heurté à la même question : comment découper le texte ? Si le morceau est trop petit, il perd son contexte. S'il est trop grand, le modèle d'embedding le tronque. UltraBERT, développé par DMIS Lab, promettait de résoudre ce problème : il accepte jusqu'à 32 000 tokens et produit un seul vecteur de 768 dimensions pour l'ensemble du document. Dans ce cadre, le découpage en chunks (des morceaux de longueur fixe, par exemple de 512 tokens) semble superflu. L'équipe de Qdrant a vérifié cette affirmation en pratique. La réponse courte : il est encore nécessaire.
Ce qui a été comparé
UltraBERT est un modèle d'embedding dense de 151 millions de paramètres. Il repose sur un encodeur anglophone entraîné pour des entrées de 32K tokens, si bien que la plupart des documents passent en un seul passage.
Qdrant a comparé quatre configurations : un vecteur pour le document entier, des chunks de 512 tokens, les deux approches combinées, et l'ensemble en version compressée. Les documents des tests sont longs, en moyenne de 7 600 à 13 800 tokens. Les tâches étaient variées : retrouver la transcription d'un épisode à partir de son résumé, répondre à une question qui requiert plusieurs articles Wikipédia, localiser un passage précis d'une réunion.
Deux tests synthétiques complétaient l'ensemble : dans l'un, un mot de passe est caché dans un texte ; dans l'autre, une seule phrase étrangère a été insérée dans un essai, et il faut retrouver l'essai à partir d'une question portant sur cette phrase. Pour une vérification à grande échelle, l'équipe a utilisé 200 000 articles anglophones de Wikipédia et 800 questions, chacune portant sur un article.
Les chunks retrouvent toujours les détails
Le vecteur unique lit bien l'intégralité des 32K tokens. Dans la tâche du mot de passe, il a placé le document recherché en première position dans 99 % des cas, toutes longueurs confondues, et ne s'est jamais trompé à 32K tokens. Mais dans la plupart des autres tâches, les chunks se sont révélés plus précis.
Les chunks l'emportent lorsque la réponse se trouve dans plusieurs paragraphes : sur 2WikiMultihopQA, QMSum et MLDR. Le vecteur unique ne gagne que sur SummScreenFD, où la requête décrit un épisode dans son ensemble.
Le test avec la phrase étrangère en explique la raison. Imaginez un long essai dans lequel on glisse une phrase hors sujet. Un vecteur unique ne peut pas conserver chacun de ces détails. À 256 tokens, le vecteur unique retrouvait l'essai pertinent dans 84 % des cas, contre 30 % à 32K tokens. Les chunks de 512 tokens, à la même longueur, ont atteint 56 %.
L'hybride, qui interroge à la fois le vecteur unique et les chunks puis fusionne les résultats, apporte peu. Sur SummScreenFD et Needle, le gain atteint au mieux 0,02 et 0,03 sur l'échelle de la métrique, soit 2 à 3 points sur 100. Sur 2WikiMultihopQA, QMSum et MLDR, l'hybride fait moins bien que les seuls chunks, et l'écart est le plus marqué sur MLDR.
Le coût des chunks et leur compression
L'argument principal contre les chunks est leur nombre. Les articles de MLDR se découpent en moyenne en 7 chunks, soit 1,43 million de vecteurs au total. En float32, cela représente environ 4 Go.
La quantification ramène chaque vecteur de 3 072 octets à 104, soit un facteur 30. Les 200 000 articles occupent alors environ 140 Mo de mémoire vive. Chaque chunk était stocké comme un point distinct dans Qdrant, et une requête groupée renvoyait chaque article une seule fois.
Par rapport à la recherche exacte, les vecteurs compressés conservent 95 % de la qualité, et 98 % avec un rescoring sur les vecteurs d'origine. Les vecteurs non compressés du même index atteignent 99 %. Le rescoring a néanmoins un coût : dans le test, les vecteurs d'origine étaient stockés sur disque, et leur lecture ajoutait 4 à 11 ms par requête. Tant que le cache disque était froid, la latence dépassait 100 ms.
Le vecteur unique se compresse moins bien que les chunks. Sur MLDR, à 1 bit, il conserve 89 % de la qualité. À 2 bits, il rejoint le résultat du vecteur non compressé du même index. Il vaut donc mieux commencer à 2 bits ou conserver le rescoring.
Que faire en pratique
Les documents entiers coûtent aussi plus cher à calculer. L'embedding intégral des transcriptions de SummScreenFD a pris environ 3 fois plus de temps que celui des chunks de 512 tokens, sur une NVIDIA L4.
Recommandations de Qdrant :
- Pour la recherche de détails, commencez par des chunks de 512 tokens.
- Pour les questions portant sur un fait isolé, essayez 256 tokens.
- La compression rend les vecteurs supplémentaires plus abordables, mais vérifiez la qualité et la latence du rescoring sur vos propres requêtes.
UltraBERT a aussi un autre usage. On peut d'abord chercher au niveau des documents entiers pour identifier le sujet, puis chercher la réponse à l'intérieur des chunks des documents trouvés. Les auteurs jugent ce schéma en deux étapes digne d'être testé, d'autant que la simple fusion des deux recherches n'a jamais donné de gain stable.
Limite de l'étude : les tests portent sur l'anglais et sur des benchmarks précis, et les chiffres peuvent différer sur votre propre corpus. La conclusion reste néanmoins claire : une fenêtre de 32K tokens offre plus de liberté dans le choix de ce que représente un vecteur, mais elle ne supprime pas le découpage du texte.
- 21 mai 2026Les systèmes RAG déraillent sur des données réelles : le coupable, c'est le retrieval, pas le modèle
- 25 janv. 2024OpenAI divise par cinq le coût des embeddings pour le RAG : 0,02 $ au lieu de 0,10 $ par million de tokens
- 30 avr. 202610 approches RAG qui fonctionnent vraiment en production : du basique à GraphRAG
- 9 oct. 2026Un RAG sur 11 000 fichiers confondait les références produit et renvoyait les données de la machine voisine
Questions clés sur cet article
Que sait-on sur Ce qui a été comparé ?
UltraBERT est un modèle d'embedding dense de 151 millions de paramètres. Il repose sur un encodeur anglophone entraîné pour des entrées de 32K tokens, si bien que la plupart des documents passent en un seul passage. Qdrant a comparé quatre configurations : un vecteur pour le document entier, des chunks de 512 tokens, les deux approches combinées, et l'ensemble en version compressée. Les documents des tests sont longs, en moyenne de 7 600 à 13 800 tokens.
Que sait-on sur Les chunks retrouvent toujours les détails ?
Le vecteur unique lit bien l'intégralité des 32K tokens. Dans la tâche du mot de passe, il a placé le document recherché en première position dans 99 % des cas, toutes longueurs confondues, et ne s'est jamais trompé à 32K tokens. Mais dans la plupart des autres tâches, les chunks se sont révélés plus précis. Les chunks l'emportent lorsque la réponse se trouve dans plusieurs paragraphes : sur 2WikiMultihopQA, QMSum et MLDR.
Que sait-on sur Le coût des chunks et leur compression ?
L'argument principal contre les chunks est leur nombre. Les articles de MLDR se découpent en moyenne en 7 chunks, soit 1,43 million de vecteurs au total. En float32, cela représente environ 4 Go. La quantification ramène chaque vecteur de 3 072 octets à 104, soit un facteur 30. Les 200 000 articles occupent alors environ 140 Mo de mémoire vive. Chaque chunk était stocké comme un point distinct dans Qdrant, et une requête groupée renvoyait chaque article une seule fois.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.