Meta تفتح Muse Spark Open: نموذج MoE بـ816 مليار معامل ونافذة سياق بمليون رمز

أصدرت Meta نموذج Muse Spark Open، وهو نموذج متعدد الوسائط مفتوح الأوزان (open-weight) بمعمارية مزيج الخبراء (mixture-of-experts). يبلغ إجمالي معاملاته نحو 816 مليار معامل، ويُفعَّل منها نحو 42 مليارًا لكل رمز، بينما تصل نافذة السياق إلى مليون رمز. يستقبل النموذج النص والصور والصوت والفيديو مدخلات، ويُخرج نصًا. وبحسب وصف Hugging Face، هو أقوى نموذج مفتوح من الولايات المتحدة حتى اليوم. دربته Meta في المقام الأول على البرمجة الوكيلية: قراءة قاعدة الشيفرة، وكتابة الشيفرة وتصحيحها، واستدعاء الأدوات، والتخطيط والتنفيذ ومراقبة النتيجة وتصحيح أخطائه بنفسه في المهام الطويلة.

يُعد Muse Spark Open النموذج الأكبر في عائلة Muse. وكانت Meta قد أصدرت في أغسطس Muse Glimmer، وهو نموذج كثيف (dense) صغير للتشغيل المحلي. يتشاطر النموذجان المُجزّئ (tokenizer) والمفردات نفسها، ويوسّع قالب المحادثة في النموذج الجديد قالب Glimmer ليشمل الوسائط الجديدة. والمغزى العملي: يمكن تمرير لقطة شاشة أو مذكرة صوتية أو تسجيل شاشة إلى النموذج نفسه الذي يعدّل شيفرتك في تلك اللحظة.

أين تختبئ الـ816 مليارًا

يتألف الجزء اللغوي من 62 طبقة بأبعاد خفية قدرها 8192. الانتباه من نوع grouped-query: 128 رأس استعلام (query) و16 رأس مفتاح-قيمة (key-value) بواقع 64 بُعدًا لكل رأس. ويضم النموذج بوابة إخراج، وتطبيعًا عند مخرج الكتلة، وQK-norm للاستعلامات والمفاتيح. وبدل الجمع البسيط، تدمج الكتلة المدخل والمخرج عبر بوابة residual قابلة للتدريب. في Glimmer تضم كل طبقة شبكة feed-forward كثيفة واحدة، أما في Muse Spark Open فقد استُبدلت بها كتلة MoE: 256 خبيرًا يختار الموجِّه (router) منهم 8 لكل رمز. يُسقط كل خبير البُعد 8192 إلى 4096 ثم يعيده إلى 8192، ويطبّع مخرجه الخاص. ويستحوذ الخبراء على نحو 97% من إجمالي المعاملات.

ومن هنا يأتي المقايضة الرئيسية في MoE: يجب أن يبقى الخبراء الـ256 جميعًا في الذاكرة، أي أن النشر يتطلب موارد نموذج بحجم 816B، لكن حساب كل رمز يجري على ~42B فقط، ولذلك تكون السرعة أعلى بوضوح. أما تضمينات المدخل وطبقة المخرج فهما مصفوفتان منفصلتان، في كل منهما نحو 1,66 مليار معامل.

عيون وآذان ومليون رمز

يحوّل مُرمِّز الإدراك (perception encoder) الصور وإطارات الفيديو إلى رموز، ويبلغ حجمه 1,8 مليار معامل: 50 طبقة، وبُعد 1536، و16 رأس انتباه، ورقعًا بحجم 14×14، وسمات بُعدها 4096. تستخدم كل طبقة رابعة والطبقة الأخيرة انتباهًا كاملًا، وتستخدم بقية الطبقات انتباهًا متفرقًا (sparse). تُرمَّز المواضع بتضمينات مطلقة قابلة للتدريب وبـ2D RoPE. ويوجد المُرمِّز نفسه في Muse Glimmer 30B.

تتولى معالجة الصوت برج منفصل يتطلب إشارة أحادية القناة بتردد 24 كيلوهرتز: رمز صوتي واحد لكل 80 مللي ثانية، أي 12,5 رمز في الثانية. وتعطي عشر ثوانٍ من التسجيل 125 رمزًا. المُرمِّز هرم التفافي بمضمِّنات رقع (patch embedders) بأحجام 16 و6 و5 و4. يُؤخذ الفيديو افتراضيًا بمعدل 2 إطار في الثانية وبما لا يزيد على 96 إطارًا، ويمكنه الآن أن يأتي مع الصوت، وهو ما لم يكن Glimmer قادرًا عليه. وتتخلل الإطارَ علاماتٌ زمنية نصية من نوع «Time: 3.5s». كلما ارتفع عدد الإطارات في الثانية (FPS) صار التقاط الأحداث بين الإطارات أدق، لكن تزداد الذاكرة وزمن التأخير في مرحلة prefill.

يبلغ السياق 1 048 576 رمزًا، وتتقاسم الصور والفيديو والصوت هذه النافذة مع النص. وبفضل GQA يبقى الكاش معتدلًا: يضيف كل رمز 2 × 16 × 64 × 62 = 126 976 قيمة، أي نحو 250 كيلوبايت بصيغة BF16، ونحو 266 غيغابايت للمليون رمز كاملًا.

الخصائص الرئيسية

• الحجم: ~816B معامل إجمالًا، و~42B نشطة لكل رمز
• التوجيه: 256 خبيرًا في كل طبقة MoE، و8 لكل رمز
• المدخلات: نص وصور وصوت وفيديو؛ المخرجات: نص
• السياق: حتى 1M رمز
• الطبقات: 62، والبُعد الخفي 8192، و128 رأس query و16 رأس KV
• مُرمِّز الرؤية: 1,8B معامل، و50 طبقة
• الصوت: 12,5 رمز في الثانية، و24 كيلوهرتز أحادي القناة
• نقاط التحقق: BF16 (~1,5 تيرابايت، بصيغة safetensors) وNVFP4 (4 بتات، لمعمارية NVIDIA Blackwell، وبحسب ما أُعلن بفقدان لا يُذكر في الدقة)
• المستودعات: Muse-Spark-Open-816B-A42B وMuse-Spark-Open-816B-A42B-NVFP4

كيف يُشغَّل وما الذي يجب مراعاته

توفّر مكتبة transformers الفئتين MuseSparkForConditionalGeneration وMuseSparkProcessor. يجمع المعالج (processor) بين المُجزّئ ومعالجَي الصور والفيديو ومستخرج الصوت وقالب المحادثة. يُضبط التوازي عبر DistributedConfig: يوزّع tp_size الطبقات الكثيفة على عدة أجهزة (sharding)، ويوزّع ep_size الخبراء على الأجهزة. تعمل نسخة BF16 في transformers على أربع عقد، في كل منها 8 وحدات GPU من طراز H200، بتوازي tensor parallelism بقيمة TP=32، أما NVFP4 فتعمل على عقدة B200 واحدة. وللإنتاج أعدّت Hugging Face وصفات تشغيل لـllama.cpp وvLLM وSGLang. ويدعم النموذج استدعاء الأدوات، بما في ذلك الاستدعاء متعدد الوسائط.

ثمة تنبيه يخص الاستدلال: لا يمكن تعطيله. تقابل المستويات low وmedium وhigh وxhigh القيم 16 و64 و256 و512، والمستوى الافتراضي هو xhigh. للمهام البسيطة اضبطوا المستوى على low، وإلا ستُهدر الرموز بلا طائل. ويمكن تحديد القيمة الرقمية أيضًا بسطر «Reasoning strength» في موجّه النظام (system prompt). وبالنسبة إلى الفرق التي تبني وكلاء البرمجة، لم يعد السؤال الرئيسي الآن عن توافر الأوزان، بل عن ميزانية العتاد والذاكرة المخصصة لكاش KV في السياقات الطويلة.