STAPLE يضيف مليارات المعلمات إلى OLMo-2 ويفك الترميز بضعف سرعة MoE

نشر فريق من الباحثين على arXiv طريقة STAPLE، التي تتيح زيادة عدد معلمات نموذج لغوي مدرَّب مسبقاً دون الحاجة إلى تدريب أولي (pretraining) متناثر مكلف من الصفر. على OLMo-2 1B تحقق الطريقة +4.27 نقطة على HumanEval، و+2.80 على MBPP، و+2.27 على GSM8K، و+1.65 على DROP، مقارنةً بمواصلة التدريب الكثيف (dense) البسيطة. وبحسب المؤلفين، تتباطأ عملية التوليد بما لا يزيد على 1.5%، والتدريب بما لا يزيد على 3%، رغم إضافة مليارات المعلمات إلى النموذج في مرحلة متأخرة.

لماذا ليس MoE؟

تُعدّ الحوسبة المتناثرة منذ زمن طويل وسيلة لرفع سعة النموذج دون تضخيم الحوسبة الفعلية لكل رمز (token). المشكلة في التكلفة: فالتدريب الأولي للبنى المتناثرة يتطلب كثيراً من البيانات والمال. أما أساليب upcycling القائمة، أي تحويل نقطة حفظ (checkpoint) كثيفة جاهزة إلى نموذج متناثر، فتستهدف في الغالب Mixture-of-Experts. ويشير المؤلفون هنا إلى ثلاث نقاط ضعف: تجانس الخبراء، وانخفاض كفاءة العينات (sample efficiency)، والأعباء النظامية الناتجة عن التوجيه (routing) والذاكرة.

تختلف الذاكرة المتناثرة الثابتة في تصميمها. فالوصول إليها قابل للتنبؤ: تُختار المعلمات بحسب معرّف الرمز، لا بقرار من الموجِّه (router). والتحديثات أيضاً مرتبطة برمز محدد. لكن، كما يلاحظ المؤلفون، فإن إدراج هذه الذاكرة بصورة ساذجة في نموذج مدرَّب مسبقاً يعطي مردوداً ضعيفاً.

كيف تعمل STAPLE

تقوم الطريقة على STEM، حيث تُستبدل إسقاطات up في كتل FFN بتضمينات مفهرسة بحسب الرمز. ينجح ذلك عند التدريب من الصفر، لكنه مع نقطة حفظ جاهزة يُفسد الحسابات التي تراكمت فيها بالفعل. وتتبع STAPLE نهجاً مختلفاً: تبقى إسقاطات up في مكانها، وتُضاف التضمينات بوصفها مساراً residual. يواصل الجزء المدرَّب مسبقاً عمله كما كان، بينما تتعلم الذاكرة الجديدة ما يعرفه النموذج عن الرموز بدرجة أقل، أي معلومات إضافية خاصة بكل رمز.

ثمة تفصيل هندسي مهم: يعتمد التنفيذ على نقل التضمينات إلى المضيف (host offloading). فلا يُحتفظ على GPU إلا بنحو 5% من أكثر التضمينات تكراراً، ويبقى الباقي في ذاكرة المضيف. وبسبب توزيع الرموز، يكفي ذلك كي لا يتراجع الإنتاج (throughput) إلا قليلاً.

الأرقام

أبرز النتائج الواردة في الورقة الأولية:

• OLMo-2 1B، التحسن مقارنةً بـ continued dense training: HumanEval +4.27، MBPP +2.80، GSM8K +2.27، DROP +1.65.
• يرتفع متوسط النتائج مع زيادة السعة الثابتة، ويستمر التحسن على OLMo-2 7B.
• تتفوق STAPLE على خطوط الأساس المتناثرة الثابتة: STEM ونموذج على طراز Engram.
• في مقابل MoE-upcycling: متوسط درجات أعلى، وفك ترميز أسرع بمرتين، وأقل من نصف ذاكرة GPU المخصصة للنموذج، وطاقة أقل لكل رمز.
• الأعباء الإضافية: التوليد ضمن حدود 1.5% من النموذج الكثيف الأساسي، والتدريب ضمن حدود 3%.

ثمة تحفظ مهم: فمقارنة السرعة والطاقة مع MoE أُجريت في تقييم موجَّه نحو إنتاج فك الترميز (decoding throughput). وقد تختلف النتيجة في السيناريوهات ذات المتطلبات الصارمة لزمن الاستجابة لطلب واحد. كما أن هذه ورقة أولية (preprint) على نماذج 1B و7B فقط، ولم يُظهَر التوسع إلى عشرات ومئات المليارات من المعلمات.

ما الذي ستقدمه عملياً

بالنسبة إلى الفرق التي تواصل تدريب النماذج المفتوحة، تقترح STAPLE طريقاً رخيصاً لرفع السعة: تؤخذ نقطة حفظ قائمة، وتُضاف إليها ذاكرة ثابتة، ثم يواصل النموذج التدريب مع خسارة طفيفة في السرعة. ويظهر التحسن بوضوح خاص في الشيفرة البرمجية والرياضيات، حيث تكون المعرفة الدقيقة بالرموز والقوالب مفيدة بشكل خاص. وعلى صعيد الاستدلال (inference)، يلفت الانتباه نمط استهلاك الذاكرة: فمعظم المعلمات يقيم على المضيف، ولا يحتاج GPU إلا إلى ذاكرة تخزين مؤقت (cache) صغيرة. وهذا يخفض متطلبات ذاكرة الفيديو مقارنةً بنموذج MoE ذي جودة مماثلة.

قبل نقل هذا النهج إلى الإنتاج، يجدر التحقق من ثلاثة أمور: السلوك على نماذج أكبر من 7B، والثبات عند تغيّر المجال (domain) حين يختلف توزيع الرموز الأكثر تكراراً، وزمن الاستجابة مع الدفعات (batches) الصغيرة. وإذا اجتاز النهج هذه الاختبارات، فسيصبح upcycling عبر التضمينات الثابتة بديلاً جدياً لـ MoE في توسيع النماذج المدرَّبة مسبقاً.