GeopoliticalQA : bge-m3 devance les embeddings commerciaux sur 5 525 questions portant sur des rapports

Un groupe de chercheurs a publié sur arXiv GeopoliticalQA, un benchmark destiné aux systèmes RAG qui répondent à des questions portant sur des rapports d'analyse géopolitiques et stratégiques. Le jeu de données compte 415 rapports publics et 5 525 paires « question — réponse », chacune rattachée à un document précis. Cela représente environ 13 questions par rapport. Le principal résultat : au niveau des chunks, la qualité de la recherche ne progresse pas avec la taille du modèle d'embedding. bge-m3, modèle ouvert de taille moyenne, égale des modèles d'un ordre de grandeur plus grands et devance les API d'embedding commerciales. La génération, elle, reste difficile même lorsque le modèle reçoit les bons fragments.

Que contient le benchmark

Les rapports d'analyse se prêtent mal au RAG standard. Leurs formats varient, leur structure est hétérogène, et les conclusions importantes s'étendent souvent sur plusieurs sections au lieu de tenir dans un seul paragraphe. Les auteurs ont réparti les questions en quatre types : factuelles, d'inférence (inferential), comparatives et orientées risques.

Les questions sont produites par un pipeline document-aware. Il commence par profiler le rapport, c'est-à-dire déterminer de quoi parle le document et comment il est construit, et ne génère les questions qu'ensuite. Les questions dépendent ainsi moins d'un fragment de texte pris au hasard. La qualité du jeu a été vérifiée de deux façons : par annotation d'experts et par un protocole LLM-as-judge, dans lequel un modèle de langage attribue les notes.

• Corpus : 415 rapports publics géopolitiques et stratégiques
• Annotation : 5 525 questions rattachées à des documents
• Types de questions : factuelles, d'inférence, comparatives, orientées risques
• Recherche : 15 systèmes
• Génération : six LLM open-weight
• Contrôle qualité : experts et LLM-as-judge

Recherche : la taille ne fait pas la différence

Au niveau des documents, c'est-à-dire pour choisir le bon rapport, les systèmes obtiennent des résultats proches. Les écarts apparaissent au niveau des chunks, où il faut retrouver un fragment précis dans un long texte. Selon les auteurs, la qualité ne dépend pas ici de la taille de l'embedder. bge-m3 se maintient au niveau de modèles d'un ordre de grandeur plus grands et surpasse les API d'embedding commerciales.

L'abstract ne donne ni les noms de tous les systèmes testés ni les valeurs précises des métriques. Pour connaître les écarts exacts, il faudra consulter les tableaux de l'article. La tendance est toutefois claire : une API payante ne garantit pas une meilleure recherche sur un corpus spécialisé.

Génération : un plafond plus bas qu'attendu

Pour la génération, les auteurs ont fourni aux six LLM ouverts des fragments de référence, ce qui supprime les erreurs de recherche. Les modèles s'en sortent malgré tout mal, surtout sur les questions d'inférence et d'évaluation des risques. Les questions factuelles sont plus simples : la réponse figure dans le texte. Les conclusions et les risques exigent de rapprocher des affirmations, de peser des arguments et de formuler un jugement qui peut ne pas apparaître mot pour mot dans le rapport. C'est pourtant pour de telles réponses que l'on lit des rapports d'analyse.

Si la réponse est mauvaise malgré un contexte idéal, le retriever n'est pas en cause. Optimiser la recherche ne réglera pas ce problème.

Que faire pour les équipes qui construisent un RAG

Premièrement, ne choisissez pas un embedder selon sa taille ou son prix. Testez plusieurs modèles sur votre propre corpus, dont bge-m3 comme référence self-hosted. Les données restent alors dans votre périmètre, ce qui compte pour les documents sensibles.

Deuxièmement, évaluez séparément la recherche et la génération. Le mode avec fragments de référence révèle le plafond du générateur et aide à comprendre où le système casse exactement.

Troisièmement, ventilez les métriques par type de question. Une moyenne globale masquera l'échec sur les requêtes liées aux risques et aux inférences. Pour celles-ci, il vaut mieux conserver une vérification humaine.

Le benchmark a aussi ses limites. Le corpus se compose de rapports publics, et non de documents confidentiels, et une partie de la validation repose sur le LLM-as-judge, avec les biais qui lui sont propres. Il reste néanmoins utile pour comparer des approches du RAG sur des textes d'analyse.