Baidu تفتح أوزان ERNIE 5.5 Flash: من 280 مليار معامل يعمل 14 مليارًا لكل توكن (5%)

نشرت Baidu أوزان ERNIE 5.5 Flash Base، وهو نموذج لغوي مفتوح بمعمارية MoE (mixture of experts، أي «خليط الخبراء»). يحمل العنوان رقمين، ومن المهم فهم دلالة كل منهما.

الرقم 280 مليار هو العدد الإجمالي للمعاملات، أي «المعرفة» التي يحتفظ بها النموذج. أما الرقم 14 مليار فهو ما يشارك فعليًا في معالجة كل توكن (والتوكن جزء من كلمة، ومن هذه الأجزاء يبني النموذج النص). النسبة 14 من 280 تساوي 5% بالضبط.

تخيّلوا مكتبًا فيه 20 مختصًا، يُستدعى لكل مهمة منهم الشخص المناسب وحده لا الجميع دفعة واحدة: الطاقم كبير، لكن كلفة العمل تقارب كلفة فريق صغير. والخلاصة للمطوّر بسيطة: إذا كنتم تحسبون كلفة الاستدلال (inference)، فقد يكون هذا النموذج أرخص من نموذج كثيف بالحجم نفسه، لكن عليكم أولًا اختباره على بياناتكم.

ما الذي نُشر بالضبط

فتحت Baidu Research الإصدار الأساسي ERNIE 5.5 Flash Base. ومعنى «أساسي» أنه نموذج خام لم يخضع للضبط النهائي للحوار: فهو ليس مساعد دردشة جاهزًا، بل نقطة انطلاق، مثلًا لتدريب إضافي خاص بكم على بيانات قطاعية. وتعد الشركة بإصدار ERNIE 5.5 Flash الكامل لاحقًا.

يضم النموذج من الداخل كتلًا متخصصة تُعرف بـ«الخبراء». ولكل توكن، يختار موجِّه (router) خاص الخبراء الذين سيعملون. والنتيجة أن الحوسبة المطلوبة تقارب ما يحتاجه نموذج بحجم 14 مليار معامل، بينما تُخزَّن معرفة تعادل نموذجًا بحجم 280 مليار. ويؤكد المطوّرون أن النموذج يبلغ مستوى أبرز النماذج المماثلة في الحجم. لكن الإعلان لا يتضمن أرقامًا محددة، ولا توجد قياسات مستقلة وقت النشر، ولذا يبقى هذا الادعاء فرضية في الوقت الحالي.

ثلاثة قرارات هندسية

تبرز Baidu عدة ابتكارات تقنية.

Latent-Gated Sparse Attention مسؤولة عن الذاكرة عند التعامل مع النصوص الطويلة. فأثناء توليد الإجابة يحتفظ النموذج بـKV-cache، وهو ذاكرة مؤقتة للتوكنات التي عالجها بالفعل، وتتضخم كثيرًا مع المستندات الطويلة. تُوزّع الآلية الجديدة هذه الذاكرة بحيث يواصل النموذج العثور على المعلومات المطلوبة في السياق الطويل دون إهدار الموارد. وعمليًا يتعلق ذلك بالعقود الطويلة أو السجلات (logs) أو قاعدة شيفرة كبيرة في طلب واحد.

Multi-Router Latent MoE تستخدم عدة موجِّهات لاختيار الخبراء بدلًا من موجِّه واحد. وبحسب Baidu، يتيح ذلك تحديدًا أدق لأجزاء النموذج التي يحتاجها كل توكن، دون زيادة في كلفة الحوسبة.

ECHO تدمج التنبؤ بعدة توكنات دفعة واحدة مع الطبقة الرئيسية للنموذج. ويمكن استخدام الآلية نفسها في speculative decoding. الفكرة أن النموذج يقترح مسبقًا مسودة من عدة توكنات لاحقة ثم يتحقق منها، فإذا صحّت التخمينات جرى توليد الإجابة أسرع. وبالنسبة إلى الخدمات التي تهمها سرعة الاستجابة، قد يكون ذلك أنفع من مكسب إضافي في اختبارات الأداء.

ولأغراض التدريب، طوّر الفريق مُحسِّن Muon الموزَّع ونواة انتباه محسّنة هي FlashMask-4.

ماذا يعني ذلك عمليًا

أولًا، التوفير في MoE يخص الحوسبة لا الذاكرة. فلا بد من تخزين جميع المعاملات البالغة 280 مليار في مكان ما: وبدقة 16 بت يعادل ذلك نحو 560 غيغابايت للأوزان وحدها. ولن يكون تشغيل نموذج كهذا على بطاقة رسومات واحدة ممكنًا، بل سيلزم خادم بعدة مسرّعات أو استخدام التكميم (quantization، أي ضغط الأوزان). ويظهر المكسب بوضوح أكبر حين تكثر الطلبات: فالحوسبة المبذولة لكل توكن أقل مما يحتاجه نموذج كثيف بالحجم نفسه.

ثانيًا، بما أن هذا إصدار أساسي، فلا ينبغي انتظار وكيل أو مساعد جاهز للاستخدام مباشرة. وإذا كنتم تحتاجون الحوار تحديدًا أو سيناريوهات الوكلاء (agents)، فمن الأجدر انتظار ERNIE 5.5 Flash الكامل.

ثالثًا، يمثّل النموذج بالنسبة إلى سوق النماذج المفتوحة مرشحًا كبيرًا آخر ليكون أساسًا للمنظومات الخاصة. فالأوزان متاحة على Hugging Face، والتحليل التقني منشور على موقع ERNIE.

الأفضل أن تبدؤوا بخطوة صغيرة. خذوا مجموعة مهامكم الاختبارية، وشغّلوا عليها ERNIE 5.5 Flash Base، وقارنوا النتائج بما تستخدمونه حاليًا. وانظروا إلى الجودة وإلى كلفة التشغيل معًا، فالسبب الثاني هو بالتحديد ما تُبتكر هذه النماذج من أجله.