Pourquoi ChatGPT oublie : comprendre la fenêtre de contexte des modèles de langage

Après une heure de travail avec ChatGPT, le modèle oublie soudain des détails des premiers messages : il se contredit et redemande ce qui avait déjà été convenu. Ce n'est pas un dysfonctionnement. C'est ainsi que fonctionne la fenêtre de contexte, et quiconque utilise l'AI dans son travail a intérêt à comprendre ce mécanisme.

Qu'est-ce que la fenêtre de contexte

Un modèle de langage ne « se souvient » pas d'une conversation au sens humain du terme. Il traite le texte comme un bloc unique, appelé contexte. La fenêtre de contexte désigne le volume maximal de texte que le modèle peut prendre en compte lors d'une seule requête. Elle se mesure en tokens : environ 3 à 4 caractères en anglais, ou 1 à 2 mots en russe.

Les modèles actuels disposent de fenêtres de capacités variables :

• GPT-4o — jusqu'à 128 000 tokens (environ 96 000 mots)
• Claude 3.7 Sonnet — jusqu'à 200 000 tokens
• Gemini 1.5 Pro — jusqu'à 2 000 000 tokens
• Llama 3 — de 8 000 à 128 000 tokens selon la version

Même 128 000 tokens représentent environ 300 pages de texte. Cela paraît beaucoup, mais dans de vraies sessions de travail, avec une base de code, des documents et un long dialogue, cette limite est atteinte plus vite qu'on ne le croit.

Pourquoi le modèle « oublie »

Quand la conversation dépasse la fenêtre de contexte, le modèle n'« oublie » pas : il ne voit tout simplement plus les anciens messages. Ceux-ci sont techniquement absents des données d'entrée de la requête.

La plupart des services règlent ce problème de l'une des deux manières suivantes.

Troncature : les messages les plus anciens sont supprimés du contexte. Le modèle continue de répondre, mais sans accès au début de la conversation. C'est le comportement par défaut de la plupart des interfaces de chat.

Résumé : au lieu des N premiers messages, le contexte reçoit un résumé de ceux-ci, généré par le modèle lui-même. Les détails se perdent, mais le fil général est conservé.

Il existe une troisième approche, le RAG (Retrieval-Augmented Generation) : les informations importantes sont stockées dans une base externe et chargées dans le contexte uniquement en cas de besoin. C'est ainsi que fonctionnent des systèmes d'AI plus complexes et les solutions d'entreprise.

Perdu au milieu : un problème caché

Le débordement n'est pas le seul enjeu. La qualité des réponses se dégrade avant même que le contexte ne soit épuisé.

En 2023, des chercheurs de Stanford et de Berkeley ont décrit le phénomène de « perte au milieu » (lost in the middle) : les modèles exploitent nettement mieux les informations situées au début et à la fin du contexte. Les données placées au milieu sont moins bien traitées, comme si le modèle « ne les remarquait pas ».

«

Les modèles de langage ont tendance à moins bien exploiter une information pertinente lorsqu'elle se trouve au milieu d'un long contexte », extrait de l'étude Lost in the Middle, 2023.

Conclusion pratique : mieux vaut placer les instructions clés au début ou à la fin de la requête, plutôt que de les enfouir au milieu d'un long document.

Comment composer avec cette limite

Quelques stratégies pratiques :

• Découpez les tâches — au lieu d'une session géante, répartissez le travail en sessions avec des bilans intermédiaires clairs
• Placez l'essentiel au début — le prompt système et les contraintes clés fonctionnent le mieux en début de contexte
• Utilisez des modèles à grande fenêtre — pour les documents volumineux, choisissez Gemini 1.5 Pro (2M tokens) ou Claude avec 200K
• Résumez vous-même — avant une nouvelle session, demandez au modèle de faire le bilan de la précédente et conservez ce texte
• Estimez la longueur à l'avance — 1 page de texte ≈ 500 tokens, 1 fichier de code ≈ 1 000–5 000 tokens

Ce que cela signifie

La fenêtre de contexte n'est pas un détail technique, mais un paramètre central de tout travail avec les modèles de langage. Comprendre cette limite permet de ne pas attribuer le comportement « étrange » du modèle à un bug, et d'organiser correctement ses sessions de travail.

La course au contexte étendu se poursuit : les fournisseurs relèvent leurs limites à qui mieux mieux, mais la question d'ingénierie « que voit le modèle en ce moment ? » restera centrale encore longtemps.