Mistral تنشر أوزان Large 4 المفتوحة: 1 تريليون معامل، 52 مليارًا منها نشطة

نشرت شركة Mistral الفرنسية، بحسب منشور على X، أوزان Large 4 المفتوحة على Hugging Face. النموذج يضم 1 تريليون معامل، وتعتمد بنيته على تفعيل 52 مليار معامل لكل رمز. نافذة السياق تبلغ 1 مليون رمز. أما الترخيص فهو MIT معدّل مع استثناء منفصل يخص model-as-a-service. ويذكر صاحب المنشور أيضًا سعر الـAPI، وانخفاض تكلفة إنجاز مهام مؤشر الذكاء بنسبة 63%. وثمة تحفظ مهم: المصدر منشور واحد محدود الانتشار للغاية، ولا يتضمن النص رابطًا إلى إعلان رسمي أو إلى بطاقة النموذج. لذلك فإن كل الأرقام الواردة أدناه هي ادعاءات صاحب المنشور، وليست بيانات جرى التحقق منها.

ما المعلن عن البنية والسياق

تعني نسبة 52 مليار معامل نشط إلى 1 تريليون معامل إجمالي أن نحو 5% من الأوزان يعمل لكل رمز. ويتيح هذا النهج المتناثر (mixture-of-experts) الاحتفاظ بسعة هائلة للنموذج، مع دفع كلفة استدلال (inference) تقارب كلفة شبكة كثيفة أصغر بكثير. لكن من يستضيف النموذج بنفسه لا يزول عنه القيد الرئيسي: عليه الاحتفاظ بكل الأوزان في الذاكرة، أي تريليون معامل. وحتى بدقة منخفضة، يتطلب ذلك عنقودًا حاسوبيًا كبير الحجم، لا محطة عمل واحدة.

يشير سياق بطول 1 مليون رمز إلى استهداف العمل مع قواعد شيفرة كبيرة ووثائق طويلة وسيناريوهات وكلاء متعددة الخطوات. غير أن المنشور لا يقول شيئًا عن ثبات الجودة على المسافات الطويلة. فحجم النافذة المعلن أمر، والقدرة الفعلية على العثور على المعلومات واستخدامها عند أطرافها أمر آخر، وهذا يحتاج إلى فحص باختبارات مستقلة.

الترخيص: MIT مع تحفظ

يصف صاحب المنشور الترخيص بأنه MIT معدّل مع استثناء يخص model-as-a-service. ولا يكشف نص المنشور الكامل صياغة هذا الاستثناء. ومن الاسم يمكن افتراض أن الاستثناء يقيّد الاستضافة التجارية للنموذج نفسه كخدمة من جانب أطراف ثالثة، لكن هذا تخمين وليس حقيقة مؤكدة. أما الشركات التي تخطط لاستخدام Large 4 داخل منتجاتها، فمن المرجح أن تواجه قيودًا قليلة. وعلى مزوّدي الاستدلال ومعيدي بيع الوصول إلى الـAPI أن يقرؤوا النص الأصلي للترخيص أولًا. وما دام لم يُدرس، فمن السابق لأوانه وصف Large 4 بأنه نموذج حر بالكامل على غرار MIT الخالص.

الأسعار واقتصاديات المهام

يذكر صاحب المنشور أن تكلفة إنجاز مهمة واحدة من مؤشر الذكاء انخفضت بنسبة 63% وتبلغ الآن $2,06. ولا يورد المنشور اسم المؤشر ولا النموذج الذي تجري المقارنة معه. وإذا أُخذت الأرقام حرفيًا، فقد كانت التكلفة السابقة نحو $5,57 للمهمة، وهذا حسابنا انطلاقًا من النسبة المعلنة، وليس من بيانات صاحب المنشور. ويتكوّن انخفاض تكلفة المهمة من سعر الرموز ومن عدد الرموز التي ينفقها النموذج على الاستدلال والتفكير: فالتعرفة الرخيصة لا تفيد إذا جاءت الإجابة مسهبة.

تبلغ تعرفة الـAPI $0,70 لكل مليون رمز إدخال و$2,10 لكل مليون رمز إخراج. أي أن رموز الإخراج أغلى من رموز الإدخال بثلاثة أضعاف تمامًا. وهذه البنية مجدية في سيناريوهات السياق الطويل والإجابات القصيرة، مثل البحث في الوثائق أو مراجعة الشيفرة. أما عند توليد كميات كبيرة من النصوص أو سلاسل استدلال طويلة، فستتشكل الفاتورة الرئيسية من رموز الإخراج.

ما الذي يجب التحقق منه قبل الاعتماد

هذه مجموعة دنيا من الخطوات للفريق الذي يدرس Large 4:

• مطابقة المنشور مع إعلان Mistral الرسمي وبطاقة النموذج على Hugging Face؛
• قراءة النص الكامل للترخيص وشروط الاستثناء الخاص بـmodel-as-a-service؛
• معرفة أي مؤشر وأي نموذج أساس يقفان وراء انخفاض التكلفة بنسبة 63%؛
• تشغيل مهام الفريق الخاصة على سياق طويل، دون الاعتماد على الرقم المعلن 1 مليون؛
• تقدير متطلبات الذاكرة للاستضافة الذاتية لنموذج بحجم تريليون معامل.

إذا تأكدت هذه الادعاءات، فسيصبح Large 4 واحدًا من أكبر النماذج ذات الأوزان المفتوحة، وله أوزان عامة وAPI منخفض التكلفة معًا. أما الآن فنحن أمام خبر لا يستند إلى مصدر في شكل وثائق رسمية. والأجدر التعامل معه كدافع للتحقق من المعلومات، لا كسبب لتغيير بنية المنتج.