Jet-Long يوسّع نافذة السياق في النماذج اللغوية إلى 128K دون إعادة تدريب

Jet-Long طريقة لتوسيع نافذة السياق في النماذج اللغوية دون إعادة تدريب، نُشرت على arXiv في 10 يوليو 2026. وفي اختبارات على Qwen3 بسياق يصل إلى 128K رمز، تفوّقت الطريقة في الدقة على جميع خطوط الأساس zero-shot الحالية، وتسارع prefill-throughput على وحدة GPU من طراز H100 حتى 1,39× مقارنةً بـ FlashAttention 2.

لماذا يمثّل تمديد السياق مشكلة؟

تُدرَّب معظم نماذج LLM المفتوحة بنافذة سياق تتراوح بين 4K و32K رمز، بينما تتطلب المهام الواقعية — مثل RAG، والأنظمة الوكيلية التي تراكم آثار استدعاء الأدوات، وتحليل المستودع البرمجي بالكامل — سياقًا أطول بعشرة أضعاف بصورة متكررة. ويُعدّ تدريب كل نقطة حفظ (checkpoint) على السياق الطويل مكلفًا، إذ يحتاج إلى أمثلة تدريب طويلة وذاكرة GPU إضافية ووقت معالجة إضافيًا. لذلك أصبحت طرق zero-shot لتحجيم RoPE المسار القياسي للنشر (deployment).

RoPE (Rotary Position Embedding) هي الطريقة القياسية لترميز مواضع الرموز في المحوّلات (transformers). وعند الاستدلال خارج نافذة التدريب، تقع المتجهات الموضعية في نطاقات لم يرها النموذج من قبل. تعيد عملية إعادة التحجيم «ضغط» المواضع إلى قيم مألوفة، لكن ذلك يأتي بتنازلات لا مفر منها: فالمعامل الحاد يُفسد الجودة على المدخلات القصيرة، والمعامل المحافظ يعجز عن التعامل مع التسلسلات الطويلة فعلًا. وتعتمد القيمة المثلى على طول الطلب المحدد لحظة الاستدلال، ولا يمكن التقاطها بقيمة ثابتة.

كيف تعمل Jet-Long؟

يقترح المؤلفون Dynamic Bifocal RoPE — وضعين متوازيين لمعالجة التضمينات الموضعية داخل طبقة attention واحدة.

• النافذة المحلية — تحافظ على ترددات RoPE القياسية للمواضع القريبة، كي يتصرف النموذج تمامًا كما في التدريب
• النافذة البعيدة — تحجّم الترددات ديناميكيًا بحسب الطول الحالي للتسلسل، لا وفق قيمة ثابتة محددة مسبقًا
• Inclusion-exclusion merge — يدمج مخرجات النافذتين دون احتساب الرموز مرتين
• On-the-fly RoPE correction rotation — يزيل الانزياح الطوري الناتج عن الدمج

يُنفَّذ التصميم بأكمله في نواة CuTe واحدة لمنصة CUDA، ما يجعل attention ثنائي البؤرة شبه مجاني: دون أي تمريرة GPU إضافية. ويتسارع prefill حتى 1,39× مقارنةً بـ FlashAttention 2 على H100، أي قريبًا جدًا من FlashAttention 4 التي تتطلب شرائح Hopper ولا تتوافر على وحدات GPU الأقدم. ولا تتجاوز التكلفة الإضافية أثناء التوليد 4% عند أي طول للسياق.

ما النتائج التي حققتها Jet-Long على سياق 128K؟

اختُبرت الطريقة على عائلة Qwen3 — بحجوم 1,7B و4B و8B معامل — وبسياق يصل إلى 128K رمز.

• RULER: +4,79 نقطة مئوية لـ Qwen3-1,7B، و+2,18 نقطة مئوية لـ 4B، و+2,03 نقطة مئوية لـ 8B مقارنةً بأفضل طريقة منافسة
• HELMET-RAG: أفضل نتيجة إجمالية بين جميع المقاربات المقارَنة (وقد وصف مؤلفو HELMET هذا المعيار بأنه الأدق في التنبؤ بالأداء الفعلي في المهام اللاحقة downstream)
• PG-19 perplexity: الأدنى بين جميع الطرق المختبَرة

كما عمّم الباحثون Jet-Long على البنية الهجينة Jet-Nemotron التي تتناوب فيها طبقات attention الكثيفة (dense) والمتفرقة (sparse)، وحصلوا على مكسب إضافي دون إعادة تدريب. ويؤكد المؤلفون أن الطريقة لا تتطلب ضبطًا يدويًا للمعاملات الفائقة (hyperparameters) وتعمل «مباشرة دون إعداد».

ماذا يعني ذلك

تقدّم Jet-Long طريقة عملية لإطالة سياق نموذج open-weight دون إعادة تدريب، ودون وحدات GPU خاصة، ودون ضبط يدوي للمعاملات الفائقة. وإذا أمكن تكرار نتائج الطريقة على معماريات شائعة أخرى — Llama وMistral وGemma — فقد تصبح أداة قياسية في حزمة الاستدلال للمهام ذات السياق الطويل: الأنظمة الوكيلية، وتحليل المستندات، ومراجعة الشيفرة (code review) على مستوى المستودع.

أسئلة شائعة

هل يلزم إعادة تدريب النموذج لاستخدام Jet-Long؟

لا. Jet-Long طريقة zero-shot من نوع tuning-free: يكفي ربطها بنقطة حفظ (checkpoint) موجودة دون أي جولات تدريب إضافية.

على أي نماذج اختُبرت Jet-Long؟

اختُبرت في الورقة التمهيدية (preprint) المؤرخة في 10 يوليو 2026 النماذج Qwen3-1.7B وQwen3-4B وQwen3-8B والبنية الهجينة Jet-Nemotron. ولا تتضمن الدراسة اختبارات على Llama أو Mistral أو عائلات أخرى.