Jet-Long расширяет контекстное окно языковых моделей до 128K без дообучения

Jet-Long — метод расширения контекстного окна языковых моделей без дообучения, опубликованный на arXiv 10 июля 2026 года. В тестах на Qwen3 с контекстом до 128K токенов метод превзошёл все существующие zero-shot baseline по точности, а prefill-throughput на GPU H100 ускорился до 1,39× относительно FlashAttention 2.

Почему продление контекста такая проблема?

Большинство открытых LLM обучают при контекстном окне 4K–32K токенов, тогда как реальные задачи — RAG, агентские системы с накопленными трейсами инструментов, анализ репозитория целиком — регулярно требуют в 10 раз больше. Дообучать каждый чекпоинт под длинный контекст дорого: нужны длинные обучающие примеры, дополнительная GPU-память и процессорное время. Поэтому стандартным deployment-путём стали zero-shot методы масштабирования RoPE.

RoPE (Rotary Position Embedding) — стандартный способ кодирования позиций токенов в трансформерах. При инференсе за пределами обучающего окна позиционные векторы попадают в диапазоны, которые модель никогда не видела. Перемасштабирование «сжимает» позиции обратно в знакомые значения, но с неизбежными компромиссами: агрессивный коэффициент ломает качество на коротких входах, консервативный — не справляется с действительно длинными последовательностями. Оптимальное значение зависит от длины конкретного запроса в момент инференса, и никакой константой его не поймать.

Как работает Jet-Long?

Авторы предлагают Dynamic Bifocal RoPE — два параллельных режима обработки позиционных эмбеддингов внутри одного attention-слоя.

• Локальное окно — сохраняет стандартные RoPE-частоты для коротких позиций, чтобы модель вела себя в точности как при обучении
• Дальнее окно — масштабирует частоты динамически, исходя из текущей длины последовательности, а не заранее заданной константы
• Inclusion-exclusion merge — объединяет выходы двух окон без двойного учёта токенов
• On-the-fly RoPE correction rotation — устраняет фазовый сдвиг при слиянии

Вся конструкция реализована в едином CuTe-ядре для CUDA, что делает бифокальный attention практически бесплатным: никакого дополнительного GPU-прохода. Prefill ускоряется до 1,39× от FlashAttention 2 на H100 — вплотную к FlashAttention 4, которая требует чипов Hopper и недоступна на более ранних GPU. Накладные расходы при генерации не превышают 4% на любой длине контекста.

Какие результаты показал Jet-Long на 128K контексте?

Метод тестировали на семействе Qwen3 — 1,7B, 4B и 8B параметров — с контекстом до 128K токенов.

• RULER: +4,79 п.п. для Qwen3-1,7B, +2,18 п.п. для 4B, +2,03 п.п. для 8B относительно лучшего конкурентного метода
• HELMET-RAG: лучший суммарный результат среди всех сравниваемых подходов (авторы HELMET выделили этот бенчмарк как наиболее точный предсказатель реальной downstream-производительности)
• PG-19 perplexity: минимальная среди всех протестированных методов

Jet-Long также обобщили на гибридную архитектуру Jet-Nemotron с чередующимися dense и sparse attention-слоями — и получили дополнительный прирост без переобучения. Авторы подчёркивают, что метод не требует ручного подбора гиперпараметров и работает «из коробки».

Что это значит

Jet-Long предлагает практичный способ удлинить контекст open-weight модели без дообучения, специальных GPU и ручных гиперпараметров. Если метод воспроизведётся на других популярных архитектурах — Llama, Mistral, Gemma — он может стать стандартным инструментом инференс-стека для длинно-контекстных задач: агентских систем, анализа документов и code review на уровне репозитория.

Частые вопросы

Нужно ли дообучать модель для Jet-Long?

Нет. Jet-Long — tuning-free zero-shot метод: достаточно подключить его к существующему чекпоинту без каких-либо дополнительных обучающих прогонов.

На каких моделях тестировался Jet-Long?

В препринте от 10 июля 2026 года протестированы Qwen3-1.7B, Qwen3-4B, Qwen3-8B и гибридная архитектура Jet-Nemotron. Тестирование на Llama, Mistral или других семействах в работе не приводится.