Pourquoi le RAG et les longs prompts "s'abêtissent" : un seul fait contradictoire fait chuter la précision des petits LLM de 97 % à 11 %

On pense généralement que les réseaux de neurones se perdent dans les longs documents simplement parce qu'il y a trop de texte. Des chercheurs de l'Université de Californie à San Diego ont testé cette idée sur une tâche de recherche de fait dans le contexte et sont arrivés à une autre réponse. Imaginez un système RAG dont le prompt contient deux versions d'une même configuration : l'ancienne et la nouvelle, avec une valeur différente pour le même paramètre.

Ce sont ces enregistrements, et non les milliers de tokens en eux-mêmes, qui faussent la réponse. Tant que le contexte, jusqu'à 32 000 tokens, est rempli de texte neutre, le modèle Qwen2.5-1.

5B répond correctement dans 97–100 % des cas. Lorsque ces mêmes emplacements sont occupés par des enregistrements au format du fait recherché, la précision tombe à 11–21 %. Conclusion pratique : avant d'envoyer les données dans le prompt, mieux vaut nettoyer les doublons contradictoires plutôt que de seulement raccourcir le document.

Comment l'expérience est conçue

La tâche est volontairement simple. Une seule ligne du type « le code secret du fleuve est 4821 » est cachée dans un long texte, et la question finale demande quel est le code du fleuve. La ligne se trouve à une profondeur aléatoire, et la longueur du contexte varie de 512 à 32 000 tokens. Le test a été mené sur cinq modèles ouverts de 0,5 à 3 milliards de paramètres, issus de quatre familles, dont Qwen2.5, Llama-3.2, SmolLM2 et OLMo-2.

La règle centrale du protocole : la longueur et la position de la ligne cible sont toujours identiques ; seul change ce qui l'entoure. Dans une variante, il s'agit de nombres aléatoires, de mots aléatoires ou d'une seule phrase répétée. Dans une autre, ce sont des enregistrements calqués sur le modèle de la ligne cible, avec des clés tirées d'un ensemble de 51 noms communs. Une troisième variante existe : le même texte neutre est masqué à l'attention du modèle, mais les positions des tokens sont conservées.

Ce que montrent les mesures

Sur texte neutre, la précision reste à 97–100 % pour quatre modèles sur cinq : jusqu'à 4 000 tokens pour les quatre, et jusqu'à 32 000 pour Qwen2.5-1.5B. L'exception est OLMo-2-1B : à 2048 tokens de texte neutre, il perd 0,57 nat (précision de 91 %). Le nat est ici l'unité de perte portant sur la probabilité de la bonne réponse : plus il est élevé, pire c'est.

Les enregistrements au format de la ligne cible, de 8 000 à 32 000 tokens, font tomber la précision à 11–21 %. Le cas le plus nocif est un enregistrement avec la même clé et une autre valeur. Un seul enregistrement de ce type multiplie la perte du modèle par 9 à 110, et chaque suivant l'aggrave encore. Comparaison sur Qwen2.5-1.5B à 32 000 tokens : le texte neutre coûte 0,004 nat, le texte neutre masqué 1,20 nat, et les enregistrements concurrents 4,76 nats. Les pertes médianes avec concurrents sur ce modèle sont de 2,82, 3,94, 4,03 et 4,76 nats à 8, 16, 24 et 32 000 tokens.

À l'intérieur du modèle, les auteurs ont suivi une grandeur : la part d'attention qui reste sur la ligne cible. Elle est calculée sur les huit têtes d'attention qui regardent le plus cette ligne, depuis le dernier token de la requête. Sur 126 473 exécutions, cette part explique 35 à 58 % de la variance de la perte, contre seulement 2–8 % pour le logarithme de la longueur du contexte. L'écart persiste pour des longueurs de 8 000 à 32 000 tokens. En résumé : des enregistrements similaires détournent l'attention de la bonne ligne, et c'est ce qui coïncide avec les erreurs.

Pourquoi l'idée que « la longueur nuit en soi » n'est pas confirmée

Des travaux antérieurs masquaient les tokens superflus à l'attention en conservant les positions, constataient une baisse de précision et en déduisaient que la longueur est nocive. Les auteurs ont reproduit cela sur 1000 questions de MMLU avec Llama-3.2-3B et Qwen2.5-7B-Instruct : avec 30 000 tokens masqués, la perte atteint 11–18 points. Mais sur la tâche de recherche, le même masquage coûte 46 points de précision à 32 000 tokens, alors que le même texte laissé visible ne coûte rien. Ce protocole ne mesure donc pas le coût pur de la longueur.

Que faire de ces résultats

En pratique, ce qui compte n'est pas le nombre de tokens, mais le nombre d'affirmations qui contredisent la bonne réponse. Les anciennes versions de contrats, les brouillons et les doublons de logs avec d'autres valeurs sont les voisins les plus dangereux pour le fragment recherché. Les auteurs ont aussi publié le code, l'outil de mesure de l'attention et l'ensemble des 126 000 mesures sur GitHub et Hugging Face : sur des modèles ouverts, on peut donc vérifier soi-même la part d'attention portée au fragment cible.

Il y a aussi des limites. Les modèles sont petits, de 0,5 à 3 milliards de paramètres, et la tâche consiste en une simple recherche de valeur par clé, pas en documents d'entreprise réels. Le lien entre attention et erreurs est établi par la statistique des exécutions. La conclusion concerne donc spécifiquement la recherche de faits dans un long contexte, et non toutes les tâches à longues entrées.