Zyphra تطلق أول نموذج انتشار (Diffusion) من نوع MoE بتسريع يبلغ 7.7 أضعاف

أطلقت شركة Zyphra نموذج ZAYA1-8B-Diffusion-Preview، وهو أول نموذج انتشار من نوع MoE نجحت في تحويله من نموذج لغوي ذاتي الانحدار (autoregressive). ويُظهر النموذج أن هذا التحويل ممكن دون فقدان في الجودة، بينما يتسارع الاستدلال 7.7 مرة، وهي قفزة لافتة في الأداء.

ما الذي حدث

تعمل النماذج اللغوية عادةً بأسلوب الانحدار الذاتي (autoregression): فهي تولّد الكلمات تباعًا، واحدة تلو الأخرى. وهذا بطيء، لأن كل خطوة تعتمد على سابقتها، ولذلك لا يمكن توزيع المعالجة على التوازي.

أعادت Zyphra بناء ZAYA، وهو نموذج MoE (مزيج الخبراء، Mixture of Experts) يختار شبكات فرعية مختلفة من العصبونات لمدخلات مختلفة، ليصبح نموذج انتشار منفصلًا (discrete diffusion). ومنطق التوليد في الانتشار مختلف تمامًا: يبدأ النموذج بتمثيل مشوَّش ثم ينقّيه تدريجيًا، مع معالجة عدة طبقات حسابية بالتوازي.

الفكرة ليست جديدة، فالانتشار يعمل جيدًا مع الصور والنصوص. لكن تحويل بنية MoE من نموذج الانحدار الذاتي إلى نموذج الانتشار مع الحفاظ على الجودة هو ما لم تنجح المحاولات السابقة في تحقيقه بهذه النظافة.

لماذا يتسارع الأداء

يكمن المفتاح في المورد الذي يستخدمه كل نمط من موارد GPU. وهنا مفهومان مهمان:

• المهام المحدودة بعرض نطاق الذاكرة (Memory-bandwidth bound): تقرأ كمية كبيرة من البيانات من الذاكرة وتعالج القليل منها. والتوليد ذاتي الانحدار مثال كلاسيكي: تحتفظ بالسياق كاملًا، وتحمّله من جديد عند كل رمز (token)، ثم تضيف الرمز الجديد وتولّد الرمز التالي
• المهام المحدودة بالحوسبة (Compute-bound): تقرأ البيانات مرة واحدة وتعالجها مرات عديدة. والانتشار مثال عليها: عدة تكرارات من التنقية للموتر (tensor) نفسه، وكل تكرار يتطلب مرورًا كاملًا عبر الشبكة العصبية
• بنية GPU: تنمو وحدات GPU الحديثة في FLOPS (القدرة الحسابية) أسرع من نموها في عرض نطاق الذاكرة. فهناك أنوية حسابية كثيرة، لكنها كثيرًا ما تنتظر الذاكرة لتزوّدها بالبيانات

يعني انتقال ZAYA من الاعتماد على الذاكرة إلى الاعتماد على الحوسبة أن الأنوية الحسابية في GPU تعمل بالقرب من حمولتها القصوى. ومن هنا جاء التسريع بمقدار 7.7x.

الحفاظ على المقاييس

اختبرت Zyphra جودة النسخة الانتشارية مقابل النسخة الأصلية ذاتية الانحدار ZAYA1-8B. وبقيت النتائج عند المستوى نفسه، إذ لم يفقد النموذج قدرته على توليد النص وفهم السياق واتباع التعليمات.

وهذا ليس بديهيًا، فعند الانتقال بين النمطين يتراجع عادةً شيء ما. أما هنا فلم يحدث ذلك. وتعني النتيجة أن نهج الانتشار وبنية MoE متوافقان، وأن إعادة التحويل لا تُتلف المعرفة التي راكمها النموذج أثناء التدريب.

ماذا يعني ذلك

تخرج نماذج MoE الانتشارية من المختبرات إلى أدوات عملية. وبالنسبة للشركات، يعني ذلك أنه يمكن أخذ نموذج MoE قائم وتحقيق تسريع في الاستدلال بمقدار 7-8x دون إعادة تدريب ودون وحدات GPU جديدة.