إطار DisaggKD ينقل النموذج المعلم إلى عُقد مستقلة ويسرّع تقطير Qwen3.5-35B-A3B إلى 9B

يقترح الفريق المطور لإطار DisaggKD إزالة القيد التقليدي المتبع في تقطير المعرفة، حيث لم يعد المعلم والطالب مجبرين على العمل داخل وحدات معالجة الرسومات (GPU) نفسها. وفي تجربة على ثنائية Qwen3.5-35B-A3B (كمعلم) و9B (كطالب)، أظهر المخطط المنفصل نفس مستوى خسارة النموذج اللغوي (LM loss) مقارنة بالتشغيل المشترك مع استخدام دالة الخسارة نفسها، مع تحقيق سرعة تدريب أعلى. أما في الثنائيات الأكبر حجماً، فتصل عمليات التشغيل المشترك إلى طريق مسدود بسبب نفاد الذاكرة، بينما تستمر الإعدادات المنفصلة في التدريب دون انقطاع.

لماذا يواجه التشغيل المشترك أزمة ذاكرة؟

تعتمد معظم أطر تقطير المعرفة على تشارك المعلم والطالب لمسرّعات الحوسبة نفسها؛ ما يفرض على كل بطاقة الاحتفاظ بأوزان المعلم، وأوزان الطالب، والتدرجات (gradients)، وحالات المحسّن (optimizer states). وكلما زادت قوة المعلم وحجمه، تضاءلت المساحة المتبقية للمكونات الأخرى، ليصبح حجم المعلم قيداً مباشراً على ذاكرة كل وحدة GPU بشكل مستقل.

وتكمن المشكلة الثانية في حساب دالة الخسارة ذاتها. إذ يقارن التقطير التقليدي توزيعات الاحتمالات بين المعلم والطالب عبر كامل القاموس، مما يتطلب توليد لوجيتات بأبعاد «الرموز × القاموس» (tokens × vocabulary)، وهي مصفوفة هائلة بالنظر إلى القواميس الضخمة للنماذج الحديثة. ونتيجة لذلك، تصبح هذه المصفوفة أحد المستهلكين الرئيسيين للذاكرة في أوقات الذروة.

كيف يعمل إطار DisaggKD؟

يقسم المؤلفون بنيتهم التقنية إلى ثلاثة أجزاء رئيسية:

الجزء الأول: الفصل عبر العُقد (Nodes). تعمل نسخ المعلم بشكل مستقل وتبث الحالات المخفية (hidden states) إلى الطالب مباشرة، دون تمرير أي لوجيتات عبر الشبكة.

الجزء الثاني: دالة الخسارة المدمجة (Fused loss). تُحسب خسارة التقطير (KD-loss) استناداً إلى نوافذ من الصفوف وأجزاء القاموس المقسمة. وفي الحساب الدقيق، تتطابق النتيجة مع الخسارة المحسوبة عبر القاموس الكامل، لكن دون الحاجة لبناء مصفوفة اللوجيتات الكاملة فعلياً. وتجدر الإشارة إلى أن هذا التطابق معلن للحساب الدقيق فقط؛ إذ قد تؤدي عمليات الجمع في التمثيل بالفاصلة العائمة (float) إلى اختلافات طفيفة عملياً، ولهذا السبب قارن المؤلفون منحنيات التدريب الفعلية بشكل منفصل.

الجزء الثالث: حلقة الجلب المسبق (Prefetch ring). وهي عبارة عن ذاكرة تخزين مؤقت دائرية تنسق وتيرة العمل بين المُنتج (المعلم) والمستهلك (المدرِّب). فبينما ينفذ الطالب خطوة الحساب الحالية، تكون الحالات المخفية للخطوة التالية في طريقها إليه عبر الشبكة، مما يمنع توقف أي من الطرفين عن العمل.

علاوة على ذلك، قدم الباحثون نماذج رياضية مغلقة لتحليل استهلاك الذاكرة وحركة مرور البيانات عبر الشبكة. وتتيح هذه النماذج تقييم حدود سعة الذاكرة مسبقاً لكل نمط توزيع، سواء كان مشتركاً أو منفصلاً.

ما أظهرته نتائج الاختبارات القياسية

• في ثنائية Qwen3.5-35B-A3B → 9B: حقق المخطط المنفصل نفس قيمة LM loss مقارنة بالتشغيل المشترك المعتمد على دالة الخسارة نفسها، مع وتيرة عمل أسرع.
• توفر دالة Fused loss ميزة قائمة بذاتها، حيث تسمح بتنفيذ التشغيل المشترك على عدد أقل من العُقد وبكفاءة وسرعة أعلى.
• عندما يمتد الطالب على عُقد متعددة، يصبح المخطط المنفصل أكثر توفيراً في استهلاك الذاكرة.
• في الثنائيات الأكبر حجماً، تتعرض عمليات التشغيل المشترك لخطأ نفاد الذاكرة (OOM) حتى مع استخدام Fused loss، نظراً لأن أوزان المعلم وحالات الطالب تستنفد كامل ميزانية الذاكرة المتاحة. في المقابل، ينجح المخطط المنفصل في مواصلة تدريب هذه النماذج.

لم يتضمن الملخص أرقاماً مطلقة لمعدلات التسريع، أو عدد وحدات GPU المستخدمة، أو الأحجام الدقيقة للثنائيات الكبيرة؛ لذا سيتعين مراجعة ورقة البحث الأصلية للتحقق من حجم المكاسب الدقيق ومطابقته مع العتاد المتوفر.

من يستفيد من هذا النهج؟

ترسم استنتاجات الباحثين مساراً واضحاً لاتخاذ القرار: فإذا كان المعلم صغيراً وكان الطالب يتسع داخل عقدة واحدة أو عقدتين، فإن المخطط المشترك المدعوم بدالة Fused loss يُعد كافياً، إذ يوفر الذاكرة ويسرّع التدريب بمفرده. أما التوزيع المنفصل، فيصبح ضرورياً عندما يمتلك المعلم عشرات المليارات من المعاملات (مثل 35B-A3B المعتمد على الخبراء MoE)، أو عندما يتوزع الطالب نفسه عبر عُقد متعددة؛ حيث يحدد توازن الذاكرة حينها إمكانية بدء التدريب من عدمها.

ومع ذلك، هناك تكلفة مقابلة؛ فالمخطط المنفصل يتطلب شبكة ربط فائقة السرعة بين العُقد لضمان بث الحالات المخفية دون أي تأخير أو انقطاع. ومن هنا تأتي الأهمية العملية لنماذج تحليل حركة البيانات الواردة في الورقة، حيث يمكن توظيفها في الحسابات قبل استئجار العناقيد للتحقق مما إذا كانت الشبكة ستشكل عنق زجاجة.

وتبرز فكرة Fused loss كحل منفصل ومفيد بحد ذاته؛ إذ يمكن إدماجها في مسارات عمل تقطير المعرفة الحالية دون تعديل بنية العنقود، مما يلغي مباشرة ذروة الذاكرة الناتجة عن اللوجيتات. وتعد هذه الخطوة هي الخيار الأقل تكلفة للفرق التي تعمل على تقطير النماذج المفتوحة الكبيرة إلى نماذج مدمجة للتحقق من جدوى النهج على بياناتها الخاصة.