Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieArticle R&D · Pour R&DRaft→ original

Dans un système RAG, le BM25 classique trouve la réponse dans 72% des requêtes, la recherche neuronale dans 49,7%

Quand un bot RAG ne retrouve pas un dossier par son numéro ou un nom de famille, la recherche neuronale est souvent en cause : elle capte le sens, mais confond les mots rares. Sur le benchmark EntityQuestions, qui pose des questions sur des noms précis, BM25 (la recherche classique par mots) a trouvé la réponse dans 72% des cas, contre 49,7% pour la recherche neuronale. En production, mieux vaut donc garder BM25 à côté des embeddings et combiner leurs scores par une somme pondérée.

Traité par IA depuis Raft ; édité par Hamidun News
Dans un système RAG, le BM25 classique trouve la réponse dans 72% des requêtes, la recherche neuronale dans 49,7%
Source : Raft. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireRaft ↗
Rédacteur en chef
Chiffre clé #1Les scores BM25 issus de différentes bibliothèques ne sont pas comparables : chacune a sa propre formule
Chiffre clé #2Depuis la version 8 de Lucene, le facteur (k1+1) a disparu du numérateur de la formule
Chiffre clé #3Calibrez les seuils au sein d'une seule bibliothèque et d'une seule version

Prenons un bot RAG pour documents juridiques : il cherche d'abord dans sa base les passages pertinents, puis s'en sert pour répondre à l'utilisateur. Vous l'interrogez sur une affaire précise, par son numéro, ou sur une personne, par son nom de famille. La recherche vectorielle (neuronale) renvoie alors des textes « proches par le sens », mais pas ceux que vous cherchez.

L'algorithme classique BM25, qui cherche par correspondance de mots et pondère ceux-ci selon leur rareté, s'en sort mieux sur ce type de requêtes. Sur le benchmark EntityQuestions, qui pose des questions sur des noms et des entités précis, BM25 a trouvé la bonne réponse dans 72% des cas, contre seulement 49,7% pour la recherche neuronale. L'analyse technique est signée d'un architecte IA qui a construit un moteur de recherche sur des documents juridiques (projet « NeuroYurist »).

Elle explique comment traiter BM25 comme une structure de données et quoi en faire en production.

BM25 comme table précalculée

Imaginez que, pour chaque mot de chaque document, un score soit fixé à l'avance : il mesure l'importance du mot pour ce texte. La recherche se réduit alors à additionner les scores déjà calculés des mots de la requête. C'est ce qui rend BM25 si rapide.

Techniquement, le poids d'une paire « mot — document » dépend de la fréquence du mot dans le document, de la longueur du document et des compteurs globaux du corpus, mais pas de la requête. On peut donc le calculer à l'indexation et le ranger dans une matrice creuse. La recherche consiste alors à sélectionner les colonnes correspondant aux tokens de la requête et à les sommer. L'article fournit un exemple minimal en Python avec numpy et scipy : environ 20 lignes, la variante d'IDF (score de rareté du mot) de Lucene, et une sélection des meilleurs résultats via argpartition.

Ce schéma a un seul inconvénient, mais il est gênant : les scores dépendent de toute la collection. Ajoutez ou supprimez un document, et les poids de tous les autres changent formellement. Il faut alors reconstruire la matrice, ou accepter en connaissance de cause une dérive des statistiques, par exemple celle de la longueur moyenne des documents. Dans un système distribué, le sharding complique les choses : les statistiques locales d'un shard diffèrent des statistiques globales, et les scores issus de nœuds différents se mélangent mal. Elasticsearch corrige cela avec le mode dfs_query_then_fetch, au prix d'un aller-retour réseau supplémentaire ; mais si le corpus tient sur un seul nœud, il est plus simple de n'utiliser qu'un seul shard.

« BM25 », ce n'est pas une seule formule

Il n'existe pas de standard unique. Kamphuis et ses coauteurs (ECIR 2020) ont comparé huit variantes courantes : celle de Robertson (la version classique), Lucene, ATIRE, BM25L, BM25+ et d'autres. Elles divergent sur le calcul de l'IDF, sur la normalisation de la fréquence du mot et sur le traitement des valeurs négatives (qui apparaissent lorsqu'un mot figure dans plus de la moitié des documents).

Conséquences pratiques :

  • Les mêmes documents obtiennent des nombres différents selon les bibliothèques ; comparer ces nombres d'un système à l'autre n'a aucun sens.
  • Depuis la version 8, Lucene a supprimé le facteur (k1+1) au numérateur. L'ordre des documents au sein d'une requête ne change pas, mais les scores absolus changent, ce qui fausse les comparaisons entre versions.
  • Le score BM25 n'est pas une probabilité : il n'est pas borné par le haut et croît avec la longueur de la requête. Un seuil rigide du type « au-dessus de 12, c'est pertinent » finira inévitablement par casser. Utilisez des seuils relatifs : une fraction du score maximal ou une valeur normalisée.
  • Dans les embeddeurs sparse qui convertissent les mots en indices par hachage, des collisions apparaissent sur les grands vocabulaires contenant des numéros de dossiers et des références : des mots différents se retrouvent fusionnés sur une même coordonnée. Dans ces domaines, mieux vaut passer directement à un vocabulaire explicite.

Ce que montrent les benchmarks et comment combiner avec un réseau de neurones

Les chiffres ont déjà été cités plus haut : sur EntityQuestions, BM25 a trouvé la bonne réponse dans 72% des cas, la recherche neuronale dans 49,7%. Les réseaux de neurones gèrent mal les éléments rares (noms de famille, numéros de dossiers, références produit) et « préfèrent » les fragments courts ; sur les textes longs, leurs performances chutent.

Pour un système hybride, l'auteur conseille de combiner BM25 et le réseau de neurones par une somme pondérée des scores, plutôt que par les rangs (méthode RRF, qui ne tient compte que de la position du document dans la liste). Une réserve importante : si vous avez affiné l'embeddeur sur vos propres données, le mélange peut se dégrader tant que les poids n'ont pas été recalibrés. Après chaque changement de modèle, il faut donc recalculer les poids, et non les reprendre de l'ancienne version.

Autre enseignement : la qualité de la recherche dépend surtout de la préparation du texte — morphologie, tokenisation et découpage en passages. Les variantes exotiques de la formule, comme BM25L et BM25+, apportent bien moins. Pour le russe et ses cas grammaticaux, c'est particulièrement visible : si l'on ne ramène pas les mots à leur forme de base, « договора » et « договору » restent deux mots différents pour l'index.

Que faire en pratique

  1. Choisissez une seule bibliothèque BM25, figez sa version, et calibrez les seuils et les poids de l'hybride au sein de celle-ci.
  2. Réglez k1 et les autres paramètres séparément, sinon vous comparerez un modèle réglé à un modèle non réglé.
  3. Améliorez d'abord la tokenisation et le découpage en passages, et ne vous intéressez aux variantes de la formule qu'ensuite.
  4. Prévoyez une reconstruction de l'index, ou acceptez une dérive des statistiques en cas de mises à jour fréquentes.
  5. Recalculez les poids de l'hybride après chaque réentraînement de l'embeddeur.

Limite de ce travail : il reflète le point de vue d'un seul praticien sur un domaine précis, celui des textes juridiques, et les chiffres d'EntityQuestions ne dispensent pas de tester sur votre propre collection. Mais comme checklist de « ce qui casse quand on passe du notebook à la production », cette analyse sert à toute équipe dont le RAG perd les identifiants exacts.

Dossier

Questions clés sur cet article

Que sait-on sur BM25 comme table précalculée ?

Imaginez que, pour chaque mot de chaque document, un score soit fixé à l'avance : il mesure l'importance du mot pour ce texte. La recherche se réduit alors à additionner les scores déjà calculés des mots de la requête. C'est ce qui rend BM25 si rapide. Techniquement, le poids d'une paire « mot — document » dépend de la fréquence du mot dans le document, de la longueur du document et des compteurs globaux du corpus, mais pas de la requête.

Que sait-on sur « BM25 », ce n'est pas une seule formule ?

Il n'existe pas de standard unique. Kamphuis et ses coauteurs (ECIR 2020) ont comparé huit variantes courantes : celle de Robertson (la version classique), Lucene, ATIRE, BM25L, BM25+ et d'autres. Elles divergent sur le calcul de l'IDF, sur la normalisation de la fréquence du mot et sur le traitement des valeurs négatives (qui apparaissent lorsqu'un mot figure dans plus de la moitié des documents).

Que sait-on sur Ce que montrent les benchmarks et comment combiner avec un réseau de neurones ?

Les chiffres ont déjà été cités plus haut : sur EntityQuestions, BM25 a trouvé la bonne réponse dans 72% des cas, la recherche neuronale dans 49,7%. Les réseaux de neurones gèrent mal les éléments rares (noms de famille, numéros de dossiers, références produit) et « préfèrent » les fragments courts ; sur les textes longs, leurs performances chutent.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…