Gemma-3-12b détecte moins bien les mensonges dans un RAG : le taux de détection tombe de 25% à 10%

Des chercheurs de l'Université du Texas à Dallas et du campus de Vancouver du New York Institute of Technology ont vérifié comment Gemma-3-12b repère les affirmations fausses dans un contexte RAG lorsque ces affirmations sont répétées dans plusieurs documents. Quand un seul document sur sept était empoisonné, le modèle détectait la substitution dans 25% des cas. Quand la même affirmation figurait dans six documents sur sept, le taux de détection tombait à 10%. Les auteurs qualifient ce résultat d'indice préliminaire de conformisme : la concordance des documents entre eux renforce la confiance qu'on leur accorde, même s'il s'agit à chaque fois de la même invention.

Comment l'expérience a été montée

La base est un échantillon de 200 questions tirées au hasard de SciFact (un jeu d'affirmations scientifiques à confirmer ou à réfuter à partir de sources), avec un seed fixé à 38. Le poison provient d'un précédent travail du même groupe. Pour chaque question, les chercheurs fixaient d'abord la bonne réponse, puis généraient une phrase qui la contredit et la développaient en un texte cohérent d'environ 500 mots. Un LLM-juge vérifiait que le texte ne soutenait pas la bonne réponse. Le générateur principal était GPT-5.6, et Grok 4.6 prenait le relais lorsque GPT-5.6 refusait d'écrire.

Pour le nouveau test, chaque poison a été conservé et accompagné de cinq paraphrases. La consigne imposait de préserver les affirmations d'origine et leur niveau de certitude, y compris la prémisse manifestement erronée, plutôt que de la corriger. Les chercheurs ont ensuite construit deux contextes de sept documents. Dans la condition « minorité », il y a un document empoisonné et six sains. Dans la condition « majorité », il y a l'original du poison, ses cinq paraphrases et un seul document sain. La tâche était formulée de la même façon dans les deux cas : examiner les fragments et renvoyer un rapport structuré sur la désinformation, avec le numéro du fragment suspect.

Ce que montrent les chiffres

Dans la condition « minorité », Gemma-3-12b a détecté le poison dans 50 cas sur 200 (25,0%) ; dans la condition « majorité », dans 20 cas sur 200 (10,0%). L'écart est de 15 points de pourcentage, soit une baisse relative de 60%. Cela suffit déjà à indiquer que le détecteur est faible : même dans le meilleur des cas, trois questions sur quatre passent inaperçues.

L'analyse appariée est plus instructive. Dans les deux conditions, le poison a été trouvé sur 16 questions, et dans aucune des deux sur 146 questions. Les 38 questions restantes ont donné des issues différentes : 34 d'entre elles sont passées de « trouvé » à « non trouvé », contre seulement quatre dans le sens inverse. Le test exact de McNemar bilatéral (un test apparié qui ne considère que les questions dont l'issue a changé) confirme que ce déséquilibre est significatif. Pour les intervalles de confiance, les auteurs ont utilisé la méthode de Wilson.

Pourquoi la conclusion reste prudente

Le principal risque pratique est évident : l'attaquant n'a pas besoin de sources indépendantes, il lui suffit de démultiplier une affirmation fausse dans des textes paraphrasés. Un système RAG qui traite chaque fragment récupéré comme une unité de preuve distincte peut prendre cette duplication pour une confirmation. Six documents peuvent être six études différentes, ou six reformulations d'une seule thèse sans fondement. Un bon détecteur de désinformation doit tenir compte de l'origine des sources et des dépendances entre elles, et pas seulement de la concordance des formulations.

Mais les auteurs soulignent eux-mêmes les limites de leur travail. Un seul modèle a été testé, sur une seule tâche, avec un contexte fixe de sept documents ; le retriever (la recherche de documents) n'est pas du tout intervenu dans l'expérience. Le passage à la « majorité » modifie simultanément trois choses : la proportion de documents empoisonnés, le nombre de répétitions paraphrasées et le nombre de contre-preuves saines.

On ne peut donc pas affirmer que la baisse est due précisément au conformisme, plutôt qu'à une sensibilité aux répétitions ou au manque de documents honnêtes. Par ailleurs, l'analyse s'appuie sur les étiquettes binaires de détection consignées dans le tableau, sans vérification humaine indépendante de chaque justification textuelle et sans évaluer si le modèle a désigné correctement le fragment empoisonné.

L'étape suivante est évidente : faire varier séparément la proportion de poison, le nombre de paraphrases, l'indépendance des sources, l'ordre des documents et le nombre de textes sains. En attendant, les développeurs de RAG peuvent retenir une conclusion : dédupliquer les fragments sémantiquement proches et prendre en compte la source avant de les transmettre au modèle peut être plus utile que d'espérer que le modèle repère lui-même la supercherie. Les auteurs précisent par ailleurs que les textes empoisonnés ont été inventés délibérément pour tester la robustesse et ne doivent pas être pris pour des affirmations scientifiques.