Dégradation du Contexte
La dégradation du contexte est la détérioration de la précision du raisonnement et de la récupération d'informations effective d'un modèle de langage à mesure que sa fenêtre de contexte se remplit de texte, ce qui la conduit à diminuer l'importance ou à perdre de vue les informations — en particulier le contenu situé au milieu de longs contextes.
La dégradation du contexte est un terme informel mais largement utilisé décrivant un ensemble de modes de défaillance qui émergent lorsque les modèles de langage traitent des séquences d'entrée très longues. La manifestation la plus rigoureusement étudiée — documentée dans l'article de Liu et al. de 2023 « Lost in the Middle » — a montré que les tâches de récupération d'informations présentent une courbe de performance caractéristique en forme de U : les modèles se souviennent raisonnablement bien des informations placées au tout début et à la toute fin d'une fenêtre de contexte, mais fonctionnent systématiquement moins bien sur les faits situés au milieu. Cet effet a persisté même à mesure que les fenêtres de contexte s'étendaient d'environ 4 000 à 128 000 jetons et au-delà.
La cause première est architecturale. L'attention Transformer peut théoriquement assister à n'importe quelle position, mais en pratique, les motifs d'attention appris se concentrent sur les jetons récemment vus et sur les jetons près du début, qui reçoivent des signaux positionnels forts pendant l'entraînement. Les informations enterrées au milieu font face à une concurrence beaucoup plus importante à partir d'un signal de bruit plus important provenant du contenu environnant. L'échelonnement quadratique de l'attention standard avec la longueur de la séquence crée des pressions pratiques supplémentaires que les approximations efficaces ne résolvent pas complètement sur des contextes très longs.
Le terme s'étend au-delà de la récupération positionnelle pour inclure une dégradation plus large de la cohérence : les modèles suivant de longs invites système avec de nombreuses instructions ont tendance à oublier ou contredire les contraintes antérieures à la fin d'une session ; les systèmes d'agents accumulent des erreurs dans les transcriptions d'appels d'outils qui déroutent les étapes suivantes ; et les longues sessions de codage dans lesquelles de nombreux fichiers sont chargés dans le contexte voient le modèle confondre les noms de variables ou les signatures de fonctions provenant de différents fichiers.
D'ici 2026, les principaux fournisseurs de modèles, dont Anthropic, Google DeepMind et OpenAI, avaient investi substantiellement dans des atténuations : des codages positionnels améliorés tels que l'échelonnement RoPE et YaRN, l'entraînement explicitement sur des séquences plus longues, et la génération augmentée par récupération comme solution architecturale contournant qui maintient le contexte actif court. Les repères tels que RULER ont continué à révéler des écarts de performance significatifs par rapport aux paramètres de contexte court, et les guides pratiques d'ingénierie des invites conseillent régulièrement de placer les instructions les plus critiques au début et à la fin d'une invite.