إتاحة Kimi K3.1 Pro بأوزان مفتوحة: 2.8 تريليون معامل و104 مليارات نشطة

أحيانًا تصل أهم الأخبار على شكل سطر واحد في X. منشور @braincramps حصد 13 مشاهدة فقط، لكنه حافل بالتفاصيل: نُشرت أوزان Kimi K3.1 Pro، وهو نموذج MoE بحجم 2.8 تريليون معامل منها 104 مليارات نشطة، و93 طبقة، وترخيص مخصص، والنموذج متعدد الوسائط. ويصفه الكاتب بأنه أكبر إصدار مفتوح هذا الأسبوع. لا يتضمن المنشور تأكيدًا من مصادر أخرى ولا نتائج اختبارات أداء، لذا نتعامل معه كادعاء يحتاج إلى تحقق.

ماذا تعني هذه الأرقام

تعمل معمارية MoE (مزيج الخبراء) على النحو التالي: لدى النموذج مجموعة ضخمة من «الخبراء»، لكن يُفعَّل جزء صغير فقط منها لكل رمز. هنا يبلغ هذا الجزء 104 مليارات من أصل 2.8 تريليون، أي نحو 3.7% من المعاملات. ومن حيث الحسابات لكل رمز، يُضاهي النموذج نموذجًا كثيفًا يفوق حجمه 100 مليار معامل. لكن الذاكرة يجب أن تحتفظ بكل شيء. حساب بسيط: بصيغة 8 بت ستشغل الأوزان نحو 2.8 تيرابايت، وبصيغة 4 بت نحو 1.4 تيرابايت. لا يمكن تشغيله على جهاز واحد بعدة وحدات GPU، بل يلزم عنقود متعدد العُقد.

ومن هنا خلاصة عملية. «الأوزان المفتوحة» بهذا الحجم لا تعني «سأثبّته على خادمي». وأمام معظم الفرق طريق واحد واقعي: انتظار أن يستضيف مزودو الاستضافة النموذج، ثم الوصول إليه عبر API.

المعمارية: هجين بدل الانتباه الكلاسيكي

من بين 93 طبقة، تنتمي 69 إلى KDA و24 إلى gated DSA. أي أن نحو ثلاثة أرباع المكدّس طبقات من نوع واحد، ونحو الربع من نوع آخر. لا يفسّر المنشور هذين الاختصارين. ويبدو أن KDA يشير إلى الانتباه الخطي من سلسلة Kimi (Kimi Delta Attention)، وDSA إلى الانتباه المتفرق. هذا تخميننا نحن، وليس حقيقة واردة في المصدر.

سبب هذا الاختيار معروف جيدًا. فالانتباه الكلاسيكي تزداد كلفته مع طول السياق ويضخّم ذاكرة KV المؤقتة. أما الهجائن ذات الطبقات الخطية والمتفرقة فتضغط هذه الذاكرة وتخفض كلفة السياق الطويل. وإذا نجح هذا التصميم في K3.1 Pro، فسيستفيد من يعالجون مستندات طويلة وقواعد شيفرة وسلاسل وكلاء، حيث ينمو السياق مع كل خطوة.

تعدد الوسائط والترخيص

كما أن النموذج من نوع رؤية-لغة. وهذا يعني لفرق المنتجات أنه يمكن تمرير لقطات شاشة الواجهات والمستندات والمخططات إلى النموذج نفسه الذي يعالج النص، دون خط معالجة منفصل. أما مدى جودة أدائه في ذلك فغير معروف بعد.

وُصف الترخيص بأنه «custom»، وهذا أهم ما يتركه المنشور دون توضيح. فهذه التراخيص كثيرًا ما تتضمن قيودًا: حدودًا للإيرادات أو لعدد المستخدمين، وشرط ذكر المصدر، ومنع بعض السيناريوهات. وما لم تقرأ النص، فلا يمكن وصف النموذج بأنه مفتوح المصدر بالمعنى الدقيق. الأصوب الحديث عن أوزان مفتوحة (open weights).

ماذا تفعل عمليًا

أولًا، لا تعيدوا كتابة مكدّسكم التقني من أجل النموذج بناءً على منشور واحد. انتظروا قياسات مستقلة على مهامكم: البرمجة، وtool use، والعمل مع السياق الطويل.

ثانيًا، تحققوا من الدعم في vLLM وSGLang. فالمعماريات الهجينة الجديدة غالبًا ما تتأخر في محركات الاستدلال، وهذا يحدد متى يصبح النموذج متاحًا فعليًا.

ثالثًا، اطلبوا من محامٍ قراءة الترخيص، أو اقرؤوه بتمعن بأنفسكم على الأقل، قبل اعتماد النموذج في منتج تجاري.

وأخيرًا، احسبوا الجدوى الاقتصادية. فمع 104 مليارات معامل نشط قد يكون سعر الرمز لدى المزود معقولًا. لكن متطلبات الذاكرة ستجعل الاستضافة الذاتية مكلفة لمن يقرر تشغيل النموذج لديه. أما الخلاصة الرئيسية حاليًا فهي أن المختبرات الصينية تواصل نشر أوزان بحجم النماذج الرائدة، وهذا يرفع سقف النماذج المفتوحة مجددًا.