Dans un système RAG, le BM25 classique trouve la réponse dans 72% des requêtes, la recherche neuronale dans 49,7%
Quand un bot RAG ne retrouve pas un dossier par son numéro ou un nom de famille, la recherche neuronale est souvent en cause : elle capte le sens, mais confond les mots rares. Sur le benchmark EntityQuestions, qui pose des questions sur des noms précis, BM25 (la recherche classique par mots) a trouvé la réponse dans 72% des cas, contre 49,7% pour la recherche neuronale. En production, mieux vaut donc garder BM25 à côté des embeddings et combiner leurs scores par une somme pondérée.
Traité par IA depuis Raft ; édité par Hamidun News
Prenons un bot RAG pour documents juridiques : il cherche d'abord dans sa base les passages pertinents, puis s'en sert pour répondre à l'utilisateur. Vous l'interrogez sur une affaire précise, par son numéro, ou sur une personne, par son nom de famille. La recherche vectorielle (neuronale) renvoie alors des textes « proches par le sens », mais pas ceux que vous cherchez.
L'algorithme classique BM25, qui cherche par correspondance de mots et pondère ceux-ci selon leur rareté, s'en sort mieux sur ce type de requêtes. Sur le benchmark EntityQuestions, qui pose des questions sur des noms et des entités précis, BM25 a trouvé la bonne réponse dans 72% des cas, contre seulement 49,7% pour la recherche neuronale. L'analyse technique est signée d'un architecte IA qui a construit un moteur de recherche sur des documents juridiques (projet « NeuroYurist »).
Elle explique comment traiter BM25 comme une structure de données et quoi en faire en production.
BM25 comme table précalculée
Imaginez que, pour chaque mot de chaque document, un score soit fixé à l'avance : il mesure l'importance du mot pour ce texte. La recherche se réduit alors à additionner les scores déjà calculés des mots de la requête. C'est ce qui rend BM25 si rapide.
Techniquement, le poids d'une paire « mot — document » dépend de la fréquence du mot dans le document, de la longueur du document et des compteurs globaux du corpus, mais pas de la requête. On peut donc le calculer à l'indexation et le ranger dans une matrice creuse. La recherche consiste alors à sélectionner les colonnes correspondant aux tokens de la requête et à les sommer. L'article fournit un exemple minimal en Python avec numpy et scipy : environ 20 lignes, la variante d'IDF (score de rareté du mot) de Lucene, et une sélection des meilleurs résultats via argpartition.
Ce schéma a un seul inconvénient, mais il est gênant : les scores dépendent de toute la collection. Ajoutez ou supprimez un document, et les poids de tous les autres changent formellement. Il faut alors reconstruire la matrice, ou accepter en connaissance de cause une dérive des statistiques, par exemple celle de la longueur moyenne des documents. Dans un système distribué, le sharding complique les choses : les statistiques locales d'un shard diffèrent des statistiques globales, et les scores issus de nœuds différents se mélangent mal. Elasticsearch corrige cela avec le mode dfs_query_then_fetch, au prix d'un aller-retour réseau supplémentaire ; mais si le corpus tient sur un seul nœud, il est plus simple de n'utiliser qu'un seul shard.
« BM25 », ce n'est pas une seule formule
Il n'existe pas de standard unique. Kamphuis et ses coauteurs (ECIR 2020) ont comparé huit variantes courantes : celle de Robertson (la version classique), Lucene, ATIRE, BM25L, BM25+ et d'autres. Elles divergent sur le calcul de l'IDF, sur la normalisation de la fréquence du mot et sur le traitement des valeurs négatives (qui apparaissent lorsqu'un mot figure dans plus de la moitié des documents).
Conséquences pratiques :
- Les mêmes documents obtiennent des nombres différents selon les bibliothèques ; comparer ces nombres d'un système à l'autre n'a aucun sens.
- Depuis la version 8, Lucene a supprimé le facteur (k1+1) au numérateur. L'ordre des documents au sein d'une requête ne change pas, mais les scores absolus changent, ce qui fausse les comparaisons entre versions.
- Le score BM25 n'est pas une probabilité : il n'est pas borné par le haut et croît avec la longueur de la requête. Un seuil rigide du type « au-dessus de 12, c'est pertinent » finira inévitablement par casser. Utilisez des seuils relatifs : une fraction du score maximal ou une valeur normalisée.
- Dans les embeddeurs sparse qui convertissent les mots en indices par hachage, des collisions apparaissent sur les grands vocabulaires contenant des numéros de dossiers et des références : des mots différents se retrouvent fusionnés sur une même coordonnée. Dans ces domaines, mieux vaut passer directement à un vocabulaire explicite.
Ce que montrent les benchmarks et comment combiner avec un réseau de neurones
Les chiffres ont déjà été cités plus haut : sur EntityQuestions, BM25 a trouvé la bonne réponse dans 72% des cas, la recherche neuronale dans 49,7%. Les réseaux de neurones gèrent mal les éléments rares (noms de famille, numéros de dossiers, références produit) et « préfèrent » les fragments courts ; sur les textes longs, leurs performances chutent.
Pour un système hybride, l'auteur conseille de combiner BM25 et le réseau de neurones par une somme pondérée des scores, plutôt que par les rangs (méthode RRF, qui ne tient compte que de la position du document dans la liste). Une réserve importante : si vous avez affiné l'embeddeur sur vos propres données, le mélange peut se dégrader tant que les poids n'ont pas été recalibrés. Après chaque changement de modèle, il faut donc recalculer les poids, et non les reprendre de l'ancienne version.
Autre enseignement : la qualité de la recherche dépend surtout de la préparation du texte — morphologie, tokenisation et découpage en passages. Les variantes exotiques de la formule, comme BM25L et BM25+, apportent bien moins. Pour le russe et ses cas grammaticaux, c'est particulièrement visible : si l'on ne ramène pas les mots à leur forme de base, « договора » et « договору » restent deux mots différents pour l'index.
Que faire en pratique
- Choisissez une seule bibliothèque BM25, figez sa version, et calibrez les seuils et les poids de l'hybride au sein de celle-ci.
- Réglez k1 et les autres paramètres séparément, sinon vous comparerez un modèle réglé à un modèle non réglé.
- Améliorez d'abord la tokenisation et le découpage en passages, et ne vous intéressez aux variantes de la formule qu'ensuite.
- Prévoyez une reconstruction de l'index, ou acceptez une dérive des statistiques en cas de mises à jour fréquentes.
- Recalculez les poids de l'hybride après chaque réentraînement de l'embeddeur.
Limite de ce travail : il reflète le point de vue d'un seul praticien sur un domaine précis, celui des textes juridiques, et les chiffres d'EntityQuestions ne dispensent pas de tester sur votre propre collection. Mais comme checklist de « ce qui casse quand on passe du notebook à la production », cette analyse sert à toute équipe dont le RAG perd les identifiants exacts.
- 7 juil. 2026VK lance Discovery AI, un moteur de recherche neuronal pour la base de contenus de plusieurs milliards d'éléments de Dzen et VK Video
- 12 nov. 2026Elasticsearch 8.13 accélère la recherche vectorielle et ajoute le reranking LTR
- 27 oct. 2026Qdrant 1.20 effectue une recherche par mots-clés sans embeddings et accélère les filtres imbriqués de 7 à 38 fois
- 30 avr. 2026OpenAI et Grok battus par un RAG sur mesure à l'Agentic RAG Legal Challenge
Questions clés sur cet article
Que sait-on sur BM25 comme table précalculée ?
Imaginez que, pour chaque mot de chaque document, un score soit fixé à l'avance : il mesure l'importance du mot pour ce texte. La recherche se réduit alors à additionner les scores déjà calculés des mots de la requête. C'est ce qui rend BM25 si rapide. Techniquement, le poids d'une paire « mot — document » dépend de la fréquence du mot dans le document, de la longueur du document et des compteurs globaux du corpus, mais pas de la requête.
Que sait-on sur « BM25 », ce n'est pas une seule formule ?
Il n'existe pas de standard unique. Kamphuis et ses coauteurs (ECIR 2020) ont comparé huit variantes courantes : celle de Robertson (la version classique), Lucene, ATIRE, BM25L, BM25+ et d'autres. Elles divergent sur le calcul de l'IDF, sur la normalisation de la fréquence du mot et sur le traitement des valeurs négatives (qui apparaissent lorsqu'un mot figure dans plus de la moitié des documents).
Que sait-on sur Ce que montrent les benchmarks et comment combiner avec un réseau de neurones ?
Les chiffres ont déjà été cités plus haut : sur EntityQuestions, BM25 a trouvé la bonne réponse dans 72% des cas, la recherche neuronale dans 49,7%. Les réseaux de neurones gèrent mal les éléments rares (noms de famille, numéros de dossiers, références produit) et « préfèrent » les fragments courts ; sur les textes longs, leurs performances chutent.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.