NVIDIA تقدّم ReplaySSM: كيف تُسرّع فك ترميز النماذج الهجينة Mamba وGDN

نشرت NVIDIA في Developer Blog مادة عن ReplaySSM، وهي محاولة لإعادة النظر في الطريقة التي تخزّن بها منظومة الاستدلال حالة طبقات SSM أثناء فك ترميز النماذج الهجينة. ويتضح حجم الموضوع من قائمة المعماريات المعنية: فـ Nemotron 3 وQwen3.5 حتى Qwen3.8 وKimi-K3 وGLM-5.3-Flash مبنية جميعها على مخطط واحد، إذ تتخلل عدةَ طبقات انتباه طبقاتٌ من نوع state-space model. غير أن الجزء المتاح لنا من المقال ينقطع عند المقدمة، لذلك لا تتوافر هنا أرقام محددة للتسريع، ولن نخترعها.

لماذا أصبحت النماذج الهجينة هي القاعدة

تؤدي دور طبقة SSM في هذه النماذج ثلاثة أنواع: Mamba-2 وGated DeltaNet (GDN) وKimi Delta Attention (KDA). والفكرة مشتركة بينها. فطبقة الانتباه الكلاسيكية تخزّن KV-cache الذي ينمو مع كل توكن جديد في السياق. أما طبقة SSM فتحتفظ بدلًا من ذلك بحالة ثابتة الحجم وتحدّثها في كل خطوة. وبذلك لا تتضخم الذاكرة مع السياق الطويل، وتبقى كلفة فك ترميز التوكن الواحد متقاربة سواء كان في السجل ألف توكن أو مئات الآلاف.

ويبقى عدد صغير من طبقات الانتباه للحفاظ على الدقة في المهام التي تتطلب بحثًا دقيقًا داخل السياق. والنتيجة مفاضلة واضحة: الجزء الأكبر من الشبكة زهيد الكلفة عند فك الترميز، والجزء الأصغر مكلف لكن لا غنى عنه.

أين تظهر مشكلة الحالة

للحالة الثابتة وجه آخر. فيمكن اقتطاع KV-cache: إذا رفض فك الترميز التخميني ثلاثة توكنات من أصل خمسة، يكفي حذف آخر ثلاثة سجلات. أما حالة SSM فتختلف في بنيتها. إنها طيّ للتاريخ كله في تنسور واحد، ولا يمكن بعد تحديثها طرح توكن منفرد منها. ويتطلب التراجع إما حفظ نسخ من الحالة لكل خطوة، وإما القدرة على استعادتها.

ومن هنا تنشأ أسئلة يتعامل معها مهندسو الاستدلال في فك الترميز التخميني وتخزين البادئات مؤقتًا والتجميع المستمر للدفعات (continuous batching). كم لقطة من الحالة ينبغي إبقاؤها في الذاكرة؟ وكم مرة تُؤخذ هذه اللقطات؟ وكم تبلغ كلفة ذلك من حركة البيانات بين HBM ووحدات الحوسبة؟ يبدو أن اسم ReplaySSM يشير إلى نهج «أعِد التشغيل بدل التخزين»: أي عدم حفظ الحالات الوسيطة، بل إعادة حسابها عند الحاجة. وهذا تفسيرنا للاسم، وليس تفصيلًا مؤكدًا من نص NVIDIA.

ما المعروف من الإعلان

• فئة النماذج: نماذج هجينة تتناوب فيها طبقات SSM مع عدد قليل من طبقات الانتباه.
• العائلات المعنية: NVIDIA Nemotron 3 وQwen3.5–Qwen3.8 وKimi-K3 وGLM-5.3-Flash.
• أنواع طبقات SSM: Mamba-2 وGated DeltaNet وKimi Delta Attention.
• الخاصية الرئيسية لـ SSM: حالة ثابتة الحجم بدلًا من KV-cache المتنامي.
• الموضوع المعلن: إعادة التفكير في تخزين الحالة من أجل فك ترميز أسرع.
• مقاييس التسريع والعتاد والمقارنة مع التنفيذات الأساسية: غير مذكورة في الجزء المتاح.

ما الذي ينبغي أن يتحقق منه مهندسو منظومات الاستدلال

إن مجرد النشر على المدونة الرسمية لـ NVIDIA أمر مهم: فقد تحولت النماذج الهجينة من حالة غريبة إلى محور رئيسي للتحسين، وصارت اختناقاتها الخاصة تحظى بحلول مستقلة. وإذا كنت تنشر Qwen3.5+ أو Nemotron 3 في بيئة الإنتاج، فمن الأفضل أن تقرأ المقال كاملًا وأن تجيب عن عدة أسئلة.

الأول: كيف يتعامل محركك مع التراجع في الحالة عند فك الترميز التخميني، وكم من الذاكرة تستهلكه اللقطات. الثاني: هل يعمل لديك تخزين البادئات مؤقتًا لطبقات SSM، أم لطبقات الانتباه فقط. الثالث: عند أي أحجام دفعات وأطوال سياق يقيس المؤلفون المكسب، لأن النتيجة في النماذج الهجينة تتوقف بشدة على هذه المعاملات.

وإلى أن يُحلَّل النص الكامل بما فيه من قياسات، ينبغي التعامل مع ReplaySSM بوصفه إشارة إلى اتجاه العمل، لا رقمًا جاهزًا لتخطيط القدرات.