أطلقت Sber نموذج GigaChat 3.5 Ultra بترخيص مفتوح المصدر مع 432 مليار معامل

أطلقت Sberbank نموذج GigaChat 3.5 Ultra بـ 432 مليار معامل كرمز مفتوح المصدر

أطلقت Sberbank نموذجًا رئيسيًا جديدًا، GigaChat 3.5 Ultra، على الملك العام (رمز مفتوح المصدر) — يحتوي على 432 مليار معامل، أقل بحوالي 40% من النموذج الرئيسي السابق GigaChat 3.1 Ultra بـ 700 مليار معامل. أوزان النموذج متاحة للمطورين للنشر المستقل، بدون الاتصال بـ API المغلقة للشركة.

ما مدى إحكام النموذج

يزن GigaChat 3.5 Ultra 432 مليار معامل مقابل 700 مليار لـ GigaChat 3.1 Ultra — تقليل بنسبة تقريبية 40%. يؤكد المطورون أن هذا ليس حلاً وسطًا من "أصغر، لكن أرخص": وفقًا لهم، البيانات الجديدة وصيغة التدريب المحدثة والتغييرات المعمارية جعلت النموذج أكثر إحكاما وأقوى في نفس الوقت.

• GigaChat 3.5 Ultra — 432 مليار معامل، موزع كرمز مفتوح المصدر
• GigaChat 3.1 Ultra (النموذج الرئيسي السابق للخط) — 700 مليار معامل
• تقليل حجم النموذج — تقريبًا 40٪، أو 268 مليار معامل
• المرة الأولى لخط GigaChat: معمارية هجينة مملوكة مقياسها إلى مئات المليارات من المعاملات

ما الذي تغير في المعمارية

قام فريق Sber بقياس معمارية GigaChat الهجينة المملوكة بملايين المعاملات لأول مرة ضمن إصدار واحد. تشير المعمارية الهجينة عادة في هذه النماذج إلى مزيج من أنواع مختلفة من الطبقات وآليات الانتباه، مما يسمح بالقياس دون نمو متناسب في تكاليف الحساب. يقول المطورون أن هذا جعل من الممكن تسريع الاستدلال (توليد الإجابات) وتوسيع قدرات النموذج في نفس الوقت — بشكل أساسي في الكود، سيناريوهات الوكيل (عندما يستدعي النموذج الأدوات بنفسه وينفذ سلاسل الإجراءات)، والمناطق المعقدة.

"هذا ليس حلاً وسطًا من 'أصغر، لكن أرخص': بفضل البيانات الجديدة وصيغة التدريب المحدثة والتغييرات المعمارية، أصبح النموذج أقوى، وكذلك أكثر كفاءة في الذاكرة وسرعة التوليد," — وفقًا لمدونة

Sber الرسمية على Habr.

لماذا قللت الشركة حجم النموذج

تشرح Sber تقليل حجم النموذج ليس كاقتصاد، بل كحساب هندسي: النموذج الأصغر أكثر كفاءة في الذاكرة وسرعة التوليد مع الحفاظ على الجودة أو تحسينها. الفرق البالغ 268 مليار معامل بين GigaChat 3.1 Ultra و GigaChat 3.5 Ultra ينعكس مباشرة في البنية التحتية: كلما قل عدد معاملات النموذج، قلت ذاكرة الفيديو اللازمة لتحميله وزادت سرعة توليد الرموز بنفس المعدات.

ما يعنيه هذا للمطورين

بالنسبة لأولئك الذين ينشرون نماذج الرمز المفتوح المصدر بشكل مستقل، فإن تقليل النموذج الرئيسي من 700 مليار إلى 432 مليار معامل يعني عتبة إدخال أجهزة أقل مع جودة إجابة قابلة للمقارنة أو أعلى. يتم توجيه GigaChat 3.5 Ultra، من بين أمور أخرى، نحو الكود وسيناريوهات الوكيل — بالضبط المهام حيث يقارن المطورون بشكل متكرر نماذج الرمز المفتوح مع واجهات برمجة التطبيقات المغلقة للمتنافسين.

ما يعنيه هذا

تستمر Sber في نشر نماذج GigaChat الرئيسية في الوصول المفتوح وتتحول بشكل متزامن نحو معماريات أكثر إحكاما وأسرع — اتجاه يميز الآن صناعة نماذج اللغة الضخمة بأكملها، حيث يسعى المطورون للتوازن بين حجم النموذج وتكلفة البنية التحتية وفائدته العملية في الكود وسيناريوهات الوكيل.