بايدو تفتح ERNIE 5.5 Flash Base: نموذج MoE بـ 280 مليار معامل، منها 14 مليارًا نشطة

تواصل المختبرات الصينية نشر نماذج مفتوحة كبيرة، وهذا إصدار جديد لافت. ففي 5 نوفمبر فتحت بايدو نموذج ERNIE 5.5 Flash Base، وهو نموذج أساسي بمعمارية Mixture-of-Experts. وبالنسبة لمن يختارون الأساس الذي سيبنون عليه منظومتهم الخاصة، فهذا سبب للنظر في الأرقام بتمعّن أكبر.

ما في الداخل ولماذا يهم MoE

هذه هي المعطيات الرئيسية: 280 مليار معامل في المجموع، و14 مليارًا نشطة لكل توكن، و33.5 تريليون توكن في التدريب المسبق، وسياق يصل إلى 128K في مرحلة التدريب المسبق. وبحسب بايدو، فإن سياقًا أطول يُدعم في مرحلتي التدريب الإضافي والاستدلال، لكن الرقم مقطوع في النص المتاح لنا، لذا يُستحسن الرجوع إلى بطاقة النموذج لمعرفة القيمة الدقيقة.

أسهل طريقة لشرح عمل MoE هي التشبيه. تخيّل شركة استشارات كبيرة فيها مئات المتخصصين. لا يُستدعى الجميع للإجابة عن كل سؤال، بل يختار منسّق، أي الموجِّه (router)، عددًا من الخبراء المناسبين. المعرفة موزعة على الشركة كلها، لكن الذين يعملون على توكن بعينه هم المختارون فقط. وهنا يعني ذلك 14 مليارًا من أصل 280 مليارًا.

والنتيجة العملية مزدوجة. فسرعة التوليد وكلفته أقرب إلى نموذج كثيف من فئة 14B، بينما تكون سعة المعرفة أعلى على الأرجح. لكن ثمة تحفظًا يُنسى كثيرًا: لا بد من تحميل جميع الأوزان في الذاكرة. وفق حسابي التقريبي، يعادل ذلك نحو 560 غيغابايت بدقة 16 بت ونحو 280 غيغابايت بدقة 8 بت. وهذه ليست بيانات من بايدو، بل تقدير مبني على عدد المعاملات، دون احتساب الذاكرة المؤقتة (الكاش) أو النفقات الإضافية.

لماذا تهم كلمة Base

النموذج الأساسي (Base) ليس مساعد محادثة. إنه مدرَّب على إكمال النص لا على تنفيذ التعليمات. فإذا كتبتَ له «اكتب استعلام SQL لجلب طلبات الأسبوع»، فقد يكمل الجملة كأنها بداية مستند بدلًا من كتابة الاستعلام. وللحصول على سلوك صالح للمنتجات يلزم SFT والتدريب على التفضيلات، وربما RL.

أما الفرق التي لديها مرحلة ما بعد التدريب الخاصة بها فهذه أخبار جيدة. فالنموذج الأساسي لا يحمل محاذاة الآخرين ولا أسلوبهم في الإجابة، ويمكن تكييفه مع مجالك: النصوص القانونية، أو الوثائق الداخلية، أو الشيفرة بلغة برمجة متخصصة.

وعن الاختبارات المعيارية: تعلن بايدو أن النموذج حقق SOTA جديدًا بين النماذج المماثلة في الحجم في عدة اختبارات. وهذا إعلان من المورّد، ولم نرَ حتى الآن قياسات مستقلة. كما أن النماذج الأساسية تُقارَن عادةً في اختبارات المعرفة والرياضيات والبرمجة بنمط few-shot. وهذه الاختبارات لا تكاد تكشف شيئًا عن سلوك النموذج في السيناريوهات الوكيلية (agentic) التي تتضمن استدعاء الأدوات.

ماذا نفعل بهذا

• إذا كان لديك عنقود GPU ومجموعة بيانات خاصة، لا سيما باللغة الصينية أو في مجال متخصص، فالنموذج يستحق تجربة تجريبية.

• إذا كنت تحتاج إلى دردشة جاهزة أو واجهة API لمنتج، فلن تناسبك نسخة Base. ابحث عن نسخة موجَّهة بالتعليمات (instruct) أو جهّز مرحلة ما بعد التدريب الخاصة بك.

• قبل البدء، تحقق من الترخيص ومن دعم النموذج في منظومة الاستدلال لديك. وهذا حاسم في MoE: فتوجيه الخبراء ليس منفَّذًا بالجودة نفسها في كل مكان.

• اجمع 30–50 مثالًا من مهامك الفعلية وشغّلها قبل أي استثمار في التدريب الإضافي. فالاختبارات المعيارية العامة لا تغني عن ذلك.

القيود واضحة. متطلبات الذاكرة عالية، والمقارنات المستقلة قليلة، وجودة الأداء بالروسية ستحتاج إلى فحصك بنفسك، إذ لا يُعرف عنها شيء من البيانات المتاحة.

الخلاصة: ERNIE 5.5 Flash Base مثير للاهتمام بوصفه قاعدة MoE مفتوحة أخرى بحجم تدريب مسبق كبير وكلفة حسابية معقولة لكل توكن. لكنه مادة خام للمهندسين لا منتج جاهز. وينبغي اتخاذ قرار استخدامه بعد قياساتك الخاصة، لا بناءً على عنوان عن SOTA.