Un même benchmark LLM donne 28 % ou 76 % : seule la manière de poser les questions change

Un développeur qui testait des LLM russophones sur des documents d'entreprise a obtenu, sur un même benchmark et avec un même modèle, des scores allant de 28% à 76%. L'écart s'explique uniquement par la manière de poser les questions.

Comment fonctionne le benchmark

L'auteur a construit un benchmark pour les modèles de langage russophones à partir de types réels de documents d'entreprise : politiques internes, ordres de service, factures et validations. Les modèles doivent retrouver le bon document parmi des documents similaires, citer une ligne précise de ce document et ne pas « casser » lorsqu'on modifie une seule date dans l'un des documents.

• Fourchette de résultats d'un même modèle sur un même benchmark : de 28% à 76%
• Type de données : documents d'entreprise (politiques internes, ordres de service, factures, validations)
• Compétences évaluées : retrouver le bon document parmi des documents similaires, citer précisément une ligne, résister à la modification d'un seul détail (une date)
• Origine de l'écart : non pas le modèle lui-même, mais la manière dont les requêtes lui sont adressées

D'où vient un écart de 48 points de pourcentage

Principal enseignement de l'expérience : le score final dépend fortement de la façon dont les requêtes sont organisées, et non du modèle utilisé. Autrement dit, on peut faire échouer ce même modèle sur le benchmark, ou au contraire lui faire obtenir un résultat près de trois fois meilleur, simplement en changeant la manière dont on lui présente la question et le contexte documentaire.

Pourquoi c'est important pour l'usage des LLM en entreprise

Les entreprises sont de plus en plus nombreuses à bâtir sur des LLM des systèmes internes de recherche et de traitement documentaire, ce que le secteur appelle le RAG (retrieval-augmented generation). Or validations, ordres de service et factures sont rarement stockés dans un format commode pour le modèle : en pratique, celui-ci doit sélectionner le bon document parmi une multitude de documents similaires, puis citer la ligne exacte. C'est précisément ce que mesurait le benchmark de l'auteur.

Si un écart de plusieurs fois s'explique par le format de la requête et non par le choix du modèle, alors, pour les équipes qui intègrent des LLM dans leurs processus internes, investir dans une organisation rigoureuse des requêtes et du contexte peut rapporter davantage que de passer à un modèle plus gros ou plus cher. L'effet se voit particulièrement sur la résistance aux « petites » modifications : lorsqu'une seule date change dans l'un des documents, le modèle continue soit de citer l'ancienne version, soit perd le bon document parmi les documents similaires. Ce sont justement ces défaillances qui entament le plus souvent la confiance dans les systèmes à base de LLM en entreprise, même lorsque le modèle répond plutôt bien en moyenne.

Ce qu'il faut en retenir

Ce benchmark sur des documents d'entreprise réels le montre : comparer des modèles frontalement sans figer la manière de poser les questions n'est pas fiable sur le plan méthodologique. Pour déployer concrètement des LLM dans la gestion documentaire, mieux vaut peaufiner la façon de les interroger plutôt que de courir après un modèle plus puissant.

Questions fréquentes

Que testait exactement le benchmark ?

Les modèles étaient évalués sur leur capacité à retrouver le bon document parmi des documents qui se ressemblent (politiques internes, ordres de service, factures et validations), à citer une ligne précise et à ne pas perdre en précision lorsqu'une seule date était modifiée dans l'un des documents.

Pourquoi un même benchmark a-t-il donné des résultats aussi différents ?

Parce que le résultat s'est révélé sensible non pas au modèle lui-même, mais à la manière dont les requêtes lui étaient adressées. L'auteur de l'expérience attribue explicitement l'écart de 28% à 76% à la façon de poser les questions, et non à un changement de modèle.