Ce n'est pas la longueur, mais les entrées contradictoires : la précision des LLM chute de 97–100 % à 11–21 %

On pense généralement que les réseaux de neurones se perdent dans les longs documents simplement parce qu'il y a trop de texte. Des chercheurs de l'Université de Californie à San Diego ont testé cette hypothèse sur une tâche de recherche de fait dans le contexte et ont obtenu une autre réponse. Prenons un système RAG dont le prompt contient deux versions d'un même fichier de configuration : l'ancienne et la nouvelle, avec des valeurs différentes pour le même paramètre.

Ce sont ces entrées-là, et non les milliers de tokens en soi, qui brouillent la réponse. Tant que le contexte, jusqu'à 32 000 tokens, est rempli de texte neutre, le modèle Qwen2.5-1.

5B répond correctement dans 97–100 % des cas. Quand les mêmes emplacements sont occupés par des entrées au format du fait recherché, la précision tombe à 11–21 %. Conséquence pratique : avant d'envoyer des documents dans le prompt, il faut nettoyer les doublons contradictoires, et pas seulement raccourcir le texte.

Comment l'expérience est construite

La tâche est volontairement simple. On cache dans un long texte une ligne du type « le code secret de la rivière est 4821 », puis on demande à la fin quel est le code de la rivière. La ligne se trouve à une profondeur aléatoire, et la longueur du contexte varie de 512 à 32 000 tokens. Le test a été exécuté sur cinq modèles ouverts de 0,5 à 3 milliards de paramètres, issus de quatre familles, dont Qwen2.5, Llama-3.2, SmolLM2 et OLMo-2.

La règle de conception principale : la longueur et la position de la ligne cible restent toujours identiques, seul ce qui l'entoure change. Dans une variante, il s'agit de nombres aléatoires, de mots aléatoires ou d'une même phrase répétée. Dans une autre, ce sont des entrées construites sur le modèle de la ligne cible, avec des clés tirées d'un ensemble de 51 noms communs. Une troisième variante existe : le même texte neutre est masqué à l'attention du modèle, mais les positions des tokens sont conservées.

Ce que montrent les mesures

Sur du texte neutre, la précision se maintient à 97–100 % pour quatre modèles sur cinq : jusqu'à 4 000 tokens pour ces quatre modèles, et jusqu'à 32 000 pour Qwen2.5-1.5B. L'exception est OLMo-2-1B : à 2048 tokens de texte neutre, il perd 0,57 nat (précision de 91 %). Le nat est ici l'unité de perte liée à la probabilité de la bonne réponse : plus elle est élevée, pire c'est.

Avec des entrées au format de la ligne cible, pour des longueurs de 8 000 à 32 000 tokens, la précision tombe à 11–21 %. Le cas le plus nuisible est une entrée avec la même clé et une autre valeur. Une seule entrée de ce type multiplie les pertes du modèle par 9 à 110, et chaque entrée suivante en ajoute. Comparaison sur Qwen2.5-1.5B à 32 000 tokens : le texte neutre coûte 0,004 nat, le texte neutre masqué 1,20 nat, et les entrées concurrentes 4,76 nats. Les pertes médianes avec concurrents sur ce modèle s'élèvent à 2,82, 3,94, 4,03 et 4,76 nats pour 8 000, 16 000, 24 000 et 32 000 tokens.

À l'intérieur du modèle, les auteurs ont suivi une grandeur : la part d'attention qui reste sur la ligne cible. Ils l'ont calculée à partir des huit têtes d'attention qui regardent le plus cette ligne, depuis le dernier token de la requête. Sur 126 473 exécutions, cette part explique 35 à 58 % de la dispersion des pertes, contre seulement 2–8 % pour le logarithme de la longueur du contexte. L'écart persiste pour des longueurs de 8 000 à 32 000 tokens. L'idée tient en une phrase : les entrées similaires détournent l'attention de la bonne, et c'est ce qui coïncide avec les erreurs.

Pourquoi l'idée que « la longueur nuit en elle-même » ne tient pas

Des travaux antérieurs masquaient des tokens superflus à l'attention tout en conservant les positions, constataient une baisse de précision et en concluaient que la longueur était nuisible. Les auteurs ont reproduit cette expérience sur 1000 questions MMLU avec Llama-3.2-3B et Qwen2.5-7B-Instruct : à 30 000 tokens masqués, les pertes atteignent 11–18 points. Mais dans la tâche de recherche, le même masquage coûte 46 points de précision à 32 000 tokens, tandis que le même texte laissé visible ne coûte rien. Ce protocole ne mesure donc pas le coût pur de la longueur.

Que faire de ces résultats

En pratique, ce qui compte n'est pas le nombre de tokens, mais le nombre d'affirmations qui contredisent la bonne réponse. Les anciennes versions de contrats, les brouillons et les doublons de logs avec d'autres valeurs sont les voisins les plus dangereux pour le fragment recherché. Les auteurs ont aussi publié sur GitHub et Hugging Face le code, l'outil de mesure de l'attention et l'ensemble des 126 000 mesures : sur des modèles ouverts, chacun peut donc vérifier lui-même la part d'attention sur le fragment recherché.

L'étude a aussi des limites. Les modèles sont petits, de 0,5 à 3 milliards de paramètres, et la tâche consiste à retrouver une valeur à partir d'une clé, non à traiter de vrais documents d'entreprise. Le lien entre attention et erreurs est établi statistiquement, à partir des exécutions. La conclusion vaut donc pour la recherche de faits en contexte long, et non pour toutes les tâches avec des entrées longues.