Baidu تطرح ERNIE 5.5 Flash Base: ‏280 مليار معلمة وأوزان مفتوحة

تواصل المختبرات الصينية نشر نماذج مفتوحة كبيرة، وعادت Baidu إلى هذا المسار بخطوة غير معتادة. فقد صدر ERNIE-5.5-Flash-Base من دون مواءمة لاتباع التعليمات: إنه نموذج أساسي خام يتعين على المطورين تحويله بأنفسهم إلى منتج عملي. وتعد الشركة بإصدار نسخة مدرَّبة لاحقا.

ما الذي يوجد في الداخل

بُني النموذج على معمارية mixture-of-experts: إذ يضم إجمالا 280 مليار معلمة، لكن 14 مليار معلمة فقط تنشط مع كل طلب. وهذا مهم عمليا، لأن الجودة تتحدد بالحجم الإجمالي، بينما تقترب كلفة الحوسبة لكل توكن من كلفة نموذج يضم 14 مليار معلمة. لكنكم ستظلون بحاجة إلى ذاكرة تكفي لتخزين أوزان المعلمات البالغ عددها 280 مليارا بالكامل.

جرى التدريب المسبق على 33.5 تريليون توكن، بسياق يصل إلى 128 ألف توكن. وفي الوقت نفسه، صُممت المعمارية لدعم سياق يصل إلى مليون توكن أثناء التدريب اللاحق والاستدلال. وهذا ادعاء من Baidu: سيتعين عليكم توسيع النافذة بأنفسكم واختبار الجودة في السياقات الطويلة باستخدام بياناتكم الخاصة.

تتوفر الأوزان على Hugging Face بصيغتين: FP8 وBF16. صيغة FP8 أقل استهلاكا للذاكرة بصورة ملحوظة، وتناسب التجارب على عنقود حوسبة أصغر، بينما تعد BF16 أكثر ملاءمة للتدريب اللاحق.

ما المقصود بالنموذج «الأساسي» وكيف يختلف عن نموذج المحادثة

يستطيع النموذج الأساسي مواصلة النص، لكنه غير مدرَّب على اتباع التعليمات أو رفض الطلبات الضارة أو الحفاظ على تنسيق الحوار. تخيلوا متدربا واسع المعرفة للغاية، لكن لم يشرح له أحد كيفية الرد على العملاء. وللحصول على مساعد، يلزم إجراء supervised fine-tuning، ثم عادة مرحلة تعتمد على التفضيلات أو RL.

لكن النموذج الأساسي يتمتع بميزة: فهو لا يتضمن قرارات الآخرين بشأن الأسلوب والمرشحات والسلوك. وهكذا تحصل الفرق التي تريد إنشاء نموذج متخصص خاص بها للمستندات القانونية أو الشيفرة المكتوبة بلغة نادرة أو الدعم الداخلي على نقطة انطلاق نظيفة.

تقارن Baidu النموذج مع DeepSeek-V4-Flash-Base وHy3-preview-Base وMiMo-V2.5-Base باستخدام سلسلة تقييم موحدة. وتشمل الفئات الاختبارات وSTEM والاستدلال والمعرفة والبرمجة وتعدد اللغات والسياق الطويل. ووفقا للشركة، يقدم ERNIE في الاستدلال والبرمجة والسياق الطويل مستوى يضاهي النماذج الأساسية المفتوحة المماثلة. لكن هذه بيانات Baidu نفسها، ولا تتوفر حتى الآن قياسات مستقلة.

القيود وما ينبغي فعله

أولا: من دون تدريب لاحق، لا يمكن ببساطة توصيل النموذج بواجهة محادثة أو بوكيل. فالأمر يتطلب بيانات وميزانية حوسبة وخبرة في التدريب اللاحق لنماذج MoE، وهو أكثر تعقيدا من مواءمة نموذج كثيف.

ثانيا: الترخيص. قبل الاستخدام التجاري، اقرأوا الشروط الواردة في صفحة النموذج، إذ لم يجر توضيحها في الخبر.

ثالثا: البنية التحتية. حتى بصيغة FP8، تتطلب 280 مليار معلمة عدة وحدات GPU قوية، ولذلك لا تعد هذه تجربة محلية مناسبة لفريق صغير.

الخلاصة العملية: إذا كانت لديكم الموارد ومهمة خاصة بكم، فمن المجدي تشغيل ERNIE-5.5-Flash-Base على معياركم الخاص إلى جانب DeepSeek V4 Flash Base وMiMo V2.5 Base، ثم اختيار أفضل نموذج أساسي للتدريب اللاحق. أما إذا كنتم بحاجة إلى نموذج جاهز لمنتج، فانتظروا النسخة المدرَّبة لاحقا من Baidu: فهي لم تصدر حتى الآن، ولم يُعلن عن موعد لها.

إجمالا، تمثل هذه الخطوة إشارة أخرى إلى أن النماذج الأساسية المفتوحة التي تضم مئات المليارات من المعلمات أصبحت أمرا اعتياديا، وأن الميزة التنافسية تنتقل من الأوزان نفسها إلى البيانات وجودة التدريب اللاحق.