Длинный контекст

Длинный контекст — характеристика языковой модели, определяющая максимальный объём текста (контекстное окно), который она может воспринять при генерации одного ответа. Измеряется в токенах; современные модели поддерживают окна от 128 тыс. до нескольких миллионов токенов.

Контекстное окно языковой модели — предельное число токенов, которые модель одновременно «видит»: сумма входных данных (системный промпт, история диалога, прикреплённые документы) и генерируемого ответа. Ранние широко доступные модели (GPT-2, 2019) имели окна в 1 024 токена; к 2024–2026 годам стандартом стали сотни тысяч токенов — Claude 3.5/3.7 поддерживает 200 тыс., Gemini 1.5 Pro и Gemini 2.0 — до 1 млн, а экспериментальные конфигурации достигают нескольких миллионов.

Стандартный механизм внимания (attention) требует памяти O(n²) относительно длины последовательности, что делает наивную реализацию непрактичной при n > 100 тыс. Для преодоления этого применяют: Flash Attention — вычисление в тайлах без материализации полной матрицы; модифицированные позиционные кодировки (RoPE с масштабированием, YaRN, ALiBi); скользящее окно внимания (Longformer, Mistral); архитектуры State Space Models (Mamba), не требующие полного попарного внимания. Ключевая проблема — деградация качества в середине контекста (эффект «lost in the middle»): модели хуже извлекают информацию из центра длинной последовательности по сравнению с её началом и концом.

Длинный контекст открывает принципиально новые сценарии: анализ целых кодовых баз без разбивки на части, обработка многостраничных юридических или научных документов, ведение сверхдлинных диалогов без потери нити разговора, in-context learning на большом числе примеров без дообучения. Для корпоративных приложений это снижает необходимость в сложной RAG-инфраструктуре при объёмах данных, умещающихся в одно окно.

К 2026 году соревнование по длине контекста уступило место вопросу качества его использования. Модели с миллионным контекстом существуют, однако точность извлечения факта из середины длинной последовательности нередко ниже 80% в бенчмарках типа RULER и Needle-in-a-Haystack. Исследовательское сообщество фокусируется на разграничении информации, помещённой в контекст, и знаний, закодированных в весах модели при предобучении.