Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
ModèlesGlossaire

Contexte Long

Le contexte long désigne la capacité d'un modèle de langage à traiter et raisonner de manière cohérente sur de très grandes séquences de jetons dans une seule entrée. Les tailles de fenêtre de contexte ont augmenté, passant de centaines de jetons dans les modèles précoces à un million ou plus dans des systèmes comme Google Gemini 1.5 Pro.

Contexte Long
Contexte Long · Modèles · Hamidun News

La fenêtre de contexte définit le nombre maximum de jetons qu'un modèle transformer peut traiter simultanément lors d'une seule passe d'inférence. Les entrées et les sorties ensemble doivent s'adapter dans cette limite. Un jeton représente approximativement 0,75 mot en anglais, donc une fenêtre de contexte d'un million de jetons peut contenir approximativement 750 000 mots—équivalent à plusieurs romans de longueur complète, un dépôt logiciel de taille moyenne complet, ou plusieurs heures de transcriptions de réunions.

L'attention transformer standard se met à l'échelle de manière quadratique avec la longueur de la séquence, tant en mémoire qu'en calcul, rendant l'extension naïve des fenêtres de contexte prohibitivement coûteuse. Les chercheurs abordent ce défi par le biais d'algorithmes d'attention efficaces (Flash Attention, ring attention), d'encodages de position modifiés tels que l'Embedding de Position Rotatoire (RoPE) avec mise à l'échelle dynamique et extension YaRN, et de modifications architecturales comme l'attention de fenêtre glissante utilisée dans les modèles Mistral. Les modèles sont généralement préentraînés à des longueurs de contexte plus courtes, puis étendus par un entraînement continu sur des séquences plus longues ou par des techniques d'interpolation de position.

Le contexte long déverrouille des cas d'usage qualitativement nouveaux : analyser un dépôt de code entier en une seule passe, traiter des documents juridiques ou scientifiques de cent pages sans fragmenter, maintenir une mémoire conversationnelle cohérente sur des interactions étendues, et effectuer de l'apprentissage en contexte avec peu d'exemples parmi de nombreuses démonstrations. Il réduit la dépendance vis-à-vis des pipelines d'augmentation par récupération qui fragmentent les documents en morceaux et peuvent manquer les relations inter-documents.

En 2026, Google Gemini 1.5 Pro supporte 1 million de jetons en production et a démontré les capacités à 2 millions de jetons en contexte de recherche. Claude d'Anthropic supporte 200 000 jetons, et GPT-4o d'OpenAI supporte 128 000 jetons. Une limitation connue appelée l'effet « perdu au milieu » montre que les modèles prêtent moins attention de manière fiable aux informations positionnées au centre de contextes très longs par rapport aux informations aux bords, et l'adressage de cette dégradation reste un domaine de recherche actif.

Exemple

“Une entreprise de technologie juridique introduit un accord de fusion complet de 400 pages dans un LLM de contexte long dans un seul appel API, lui demandant d'identifier toutes les dispositions de changement de contrôle et de les recouper par rapport à une liste de contrôle de clauses standard—une tâche qui nécessitait auparavant des heures d'examen juridique.

Dernières actualités sur le sujet

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent