vLLM يشغّل ERNIE 5.5 Flash Base منذ اليوم الأول: 280B معلمة، منها 14B نشطة

إنها قصة مألوفة: يصدر نموذج مفتوح بارز، فتسارع إلى تنزيل أوزانه، ثم تنتظر أسابيع إلى أن يتعلم محرك الاستدلال تشغيله بصورة سليمة. هذه المرة، الوضع مختلف. أطلقت Baidu نموذج ERNIE 5.5 Flash Base، وأعلن vLLM دعمه منذ اليوم صفر. ويمكن الآن تشغيله وتجربته ضمن حزمة الأدوات المعتادة.

ما نعرفه عن النموذج

هذه هي الأرقام الواردة في الإعلان. يضم النموذج 280 مليار معلمة إجمالًا، لكن 14 مليارًا فقط تكون نشطة مع كل token. ويعتمد بنية Mixture of Experts، حيث يعمل في كل خطوة جزء صغير من «الخبراء» بدلًا من الشبكة بأكملها. جرى التدريب المسبق على 33.5 تريليون token. وبلغ السياق أثناء التدريب 128 ألف token، بينما يصل الحد المعلن لما بعد التدريب والاستدلال إلى مليون token.

هناك تفصيل مهم في الاسم: هذه نسخة Base، أي نموذج أساسي بعد التدريب المسبق، من دون تدريب دقيق على اتباع التعليمات. وقد أتاحت Baidu الأوزان خصيصًا لتكييف النموذج مع المجالات المختلفة وإجراء instruction tuning. إنها مادة أولية وليست روبوت محادثة جاهزًا.

لماذا يهم ذلك عمليًا

تخيل أنك تطور مساعدًا للوثائق القانونية أو لقاعدة شيفرة داخلية. نموذج المحادثة العام سبق أن جرى «تهذيبه» وفق أسلوب مختلف، وقد تكون إعادة تدريبه أحيانًا أصعب من البدء بقاعدة نظيفة. تمنح أوزان Base نقطة انطلاق أكثر حيادًا، إذ تحدد بنفسك تنسيق الإجابات ونبرتها والقيود المفروضة عليها.

بنية MoE مفيدة أيضًا. من حيث العمليات الحسابية لكل token، يقترب النموذج من 14B أكثر من 280B، رغم ضرورة الاحتفاظ بجميع الأوزان في الذاكرة. وهذه هي المقايضة التقليدية في MoE: سرعة التوليد وتكلفة كل token أفضل مقارنة بنموذج كثيف مماثل في الحجم، لكن متطلبات ذاكرة الفيديو تظل مرتفعة.

يزيل دعم vLLM أكثر العوائق إزعاجًا. فلا حاجة إلى كتابة kernels خاصة أو انتظار fork يتضمن التصحيحات المطلوبة. ستحصل على خادم مألوف متوافق مع OpenAI، مع batching وأساليب النشر المعتادة. وفي النماذج الأولية، يوفر ذلك أيامًا، وربما أسابيع.

نقاط يجب أخذها في الحسبان

أولًا، لا يتضمن الإعلان benchmarks أو مقارنات مع المنافسين أو تفاصيل عن الترخيص. ما لدينا حتى الآن ليس سوى المواصفات المعلنة. قبل بناء منتج، تحقق من شروط الاستخدام وشغّل النموذج على بياناتك الخاصة.

ثانيًا، ذُكر سياق المليون token بوصفه حدًا لما بعد التدريب والاستدلال، لا باعتباره قدرة يستخدمها النموذج بموثوقية مباشرة من دون إعداد. يجب أن تقيس بنفسك جودة الأداء مع المدخلات الطويلة، إذ تقبل نماذج كثيرة رسميًا سياقًا هائلًا، لكنها تفقد التفاصيل الموجودة في المنتصف. طول التدريب الأساسي هنا هو 128K، وهو نقطة مرجعية أكثر واقعية.

ثالثًا، ستتطلب معلمات 280B عتادًا قويًا حتى مع وجود 14B معلمة نشطة فقط. وستحتاج على الأرجح إلى نشر متعدد وحدات GPU، وإلى quantization وtensor parallelism. وسيكون ما بعد التدريب لمثل هذا النموذج أعلى تكلفة، لذا يجدر التفكير في محولات مثل LoRA بدلًا من fine-tuning كامل.

الخلاصة العملية

إذا كنت تبني منتجًا يعتمد على نماذج مفتوحة وتحتاج إلى قاعدة لتخصصك الخاص، فمن الجدير إضافة ERNIE 5.5 Flash Base إلى قائمتك المختصرة. ابدأ على نطاق صغير: شغّله عبر vLLM، وقس السرعة واستهلاك الذاكرة على عتادك، ثم اختبر الجودة في مهمتين أو ثلاث مهام واقعية. وإذا كان النموذج الأساسي يتعامل مع مجالك بصورة أفضل من النموذج الحالي، فعندها يصبح الاستثمار في instruction tuning منطقيًا.

عمومًا، هذه علامة أخرى على نضج المنظومة المفتوحة. فقد أصبح دعم محرك الاستدلال في يوم الإصدار أمرًا معتادًا، وصار اختيار النموذج يعتمد بوتيرة متزايدة، لا على سؤال «هل سيعمل؟»، بل على سؤال «هل تناسبنا جودته ورخصته؟». وهذا تحديدًا ما ينبغي التحقق منه أولًا.