PubHealthBench : 7929 questions pour mesurer comment le RAG protège l'IA des hallucinations en médecine

Des chercheurs ont étendu le benchmark PubHealthBench, un ensemble de 7929 questions fondées sur les recommandations officielles du gouvernement britannique en matière de santé publique, à un scénario de génération augmentée par la recherche (RAG). Ils ont testé de façon systématique l'influence de différents réglages de recherche et de génération sur la précision des réponses de l'IA. L'article a été publié sur arXiv le 7 juillet 2026.

Pourquoi les LLM en médecine ont besoin du RAG

Les grands modèles de langage affichent des résultats prometteurs sur les benchmarks médicaux de questions-réponses, mais leur usage en santé publique est limité par les hallucinations et par la rapidité avec laquelle les recommandations officielles évoluent. Le RAG réduit ces risques en ancrant les réponses du modèle dans un corpus de documents explicitement maintenu. La qualité finale dépend néanmoins fortement du réglage de la recherche et de la manière dont le résultat est évalué, et pas seulement dans un format de choix parmi plusieurs options.

Ce que montre la comparaison des méthodes de recherche

Les auteurs ont comparé la recherche dense (dense), éparse (sparse) et hybride sur plusieurs modèles d'embeddings et variantes du corpus.

• La recherche hybride améliore systématiquement le rappel (recall) et la qualité du classement des résultats
• La longueur des fragments de texte (chunk length) et le thème de la requête influencent la qualité du classement
• L'ajout du contexte retrouvé augmente nettement la précision des réponses à choix multiples sur des LLM très variés
• Les petits modèles ouverts avec RAG égalent ou surpassent de plus gros modèles sans RAG
• Le gain de précision tient avant tout à la qualité de la recherche et à une sélection soignée du contexte

Comment les réponses détaillées ont été évaluées

Pour évaluer des réponses détaillées réalistes, et pas seulement un choix d'option, les auteurs ont proposé un LLM-juge reposant sur une grille couvrant la fidélité (faithfulness), l'exhaustivité, la clarté et la cohérence factuelle, puis ont comparé ses résultats à une double annotation humaine. L'accord entre le modèle juge et les humains s'est révélé le plus fort sur la fidélité et l'exhaustivité, tandis que la cohérence factuelle et la clarté sont reproduites de façon moins fiable. Il faut donc interpréter avec plus de prudence les scores sur ces deux critères à grande échelle.

Ce que cela signifie

Les résultats montrent que la qualité de la recherche est le principal levier pour obtenir des réponses fiables de l'IA aux questions de santé publique, et que même de petits modèles ouverts peuvent rivaliser avec de grands modèles si la partie recherche du système est soigneusement réglée.

Questions fréquentes

Qu'est-ce que PubHealthBench ?

C'est un benchmark de questions-réponses de 7929 questions élaborées à partir des recommandations officielles du gouvernement britannique en santé publique. Ce travail l'a étendu à un scénario avec RAG.

Un petit modèle peut-il remplacer un grand modèle grâce au RAG ?

Oui. Selon les auteurs, fournir le contexte retrouvé permet à de petits modèles ouverts d'égaler ou de surpasser de plus gros modèles qui fonctionnent sans RAG.