Деградация контекста

Деградация контекста — снижение качества ответов языковой модели по мере роста длины контекстного окна: модель теряет способность надёжно использовать информацию в середине длинного промпта или многоходового диалога.

Деградация контекста (context rot) — собирательное название для нескольких связанных явлений, при которых производительность языковой модели ухудшается по мере увеличения объёма входного контекста. Наиболее изученный эффект описан в работе Liu et al. «Lost in the Middle» (2023): модели значительно хуже используют информацию, расположенную в середине длинного документа или диалога, по сравнению с началом и концом — эффект «U-образной кривой» внимания. Смежный феномен — тест «иголки в стоге сена» (needle in a haystack), в котором конкретный факт, внедрённый в длинный текст, нередко «теряется» даже при формально поддерживаемом большом контекстном окне.

Механизм связан с устройством механизма внимания (attention) в трансформерных архитектурах: при очень длинном контексте модели сложнее удерживать равномерное «внимание» ко всем позициям. Параллельно в длинных многоходовых диалогах накапливается нерелевантный контекст — устаревшие инструкции, ошибочные промежуточные выводы, — которые продолжают влиять на распределение активаций и искажают последующие ответы.

Практическая значимость высока: продуктовые сценарии анализа длинных документов, многошаговых агентных задач и длительных сессий поддержки требуют надёжной работы при большом контексте. Несмотря на то что современные модели заявляют значительные контекстные окна — Claude 3.5/3.7 Sonnet 200 000 токенов, Gemini 1.5 Pro до 1 млн токенов, GPT-4o 128 000 токенов, — независимые и пользовательские оценки показывают, что эффективная ёмкость на задачах с извлечением информации нередко существенно ниже технической.

По состоянию на 2026 год исследователи работают над несколькими подходами: улучшенные схемы позиционных эмбеддингов (RoPE с расширенной интерполяцией, ALiBi), алгоритмы компрессии и суммаризации контекста на лету, обучение с подкреплением с наградой за точное извлечение данных из длинных входов, а также гибридные архитектуры с явной внешней памятью (Mamba, RWKV).