حول سبيربنك نموذج GigaChat3 إلى نمط الانتشار: كيفية عمل مشروع GFusion

نشرت فريق GigaChat Pretrain (Sberbank) في يوليو 2026 تحليلاً تقنياً لمشروع GFusion — وهو تجربة تستمر عدة أشهر لتحويل نموذج الانحدار الذاتي GigaChat3-10B-A1.8B-base إلى نمط الانتشار بدون إعادة تدريب من الصفر. وكنتيجة لذلك، ظهرت نقطتا تفتيش تجريبيتان: GFusion-10B-A1.8B-base و GFusion-10B-A1.8B.

كيف تختلف نماذج اللغة الكبيرة بنمط الانتشار عن التقليدية

نماذج الانحدار الذاتي — GPT و LLaMA و GigaChat الأساسي — تولد النص عنصراً بعنصر، بشكل صارم من اليسار إلى اليمين. بمجرد كتابة عنصر، لا يمكن مراجعته: إذا 'أخطأت' النموذج في البداية، الطريقة الوحيدة لإصلاحه هي بإعادة توليد الرد بأكمله. نماذج اللغة الانتشارية (dLLM) تعمل بشكل مختلف: تبدأ بسلسلة مشوشة بالكامل أو مقنعة وتكشف بشكل متكرر النص على عدة مراحل — مشابه لكيفية إعادة بناء نماذج الانتشار للصورة من الضوضاء.

المزايا النظرية: تشاهد نماذج اللغة الانتشارية السياق بأكمله في نفس الوقت، بما في ذلك الجزء الأيمن من النص غير المكتوب بعد، مما يحسن محتملاً من اتساق الإجابات الطويلة. يفتح إزالة الضوضاء المتوازية مجالاً لتسريع الاستدلال. يؤكد مؤلفو المشروع أنفسهم: الاتجاه 'جديد نسبياً' والعديد من الأفكار بدأ للتو بخضوع الاختبارات العملية على نطاقات حقيقية.

كيف أجرى الفريق التحويل

الرهان الرئيسي للمشروع هو كفاءة الموارد. يتطلب التدريب المسبق لنموذج بـ 10 مليارات معامل من الصفر نفقات ضخمة من وقت GPU والعديد من أشهر العمل على البنية التحتية. اختارت فريق GigaChat Pretrain مساراً مختلفاً بشكل أساسي: أخذ نقطة تفتيش جاهزة لنموذج الانحدار الذاتي وتكييفها مع نموذج الانتشار، مع الحفاظ على كل ما تراكم أثناء التدريب المسبق.

GigaChat3-10B-A1.8B-base هو نموذج متفرق: 10 مليارات معامل في المجموع، لكن فقط 1.8 مليار نشطة في كل مرور (معمارية من نوع MoE)، مما يقلل العبء الحسابي أثناء الاستدلال. نتيجة للتجربة، ظهرت نقطتا تفتيش بلاحقة GFusion.

معاملات المشروع:

• النموذج الأساسي: GigaChat3-10B-A1.8B-base (10B معامل، 1.8B نشط أثناء الاستدلال)
• النهج: تحويل AR → dLLM بدون تدريب مسبق من الصفر
• النتائج: GFusion-10B-A1.8B-base و GFusion-10B-A1.8B
• الفريق: GigaChat Pretrain، Sberbank
• الجدول الزمني: مشروع تدريب، عدة أشهر

تنسيق التجربة نفسه ملحوظ: تم تنفيذ انتقال معماري غير بديهي في إطار تدريب — هذا يتحدث عن إمكانية الوصول إلى الأدوات للفرق بدون موارد المختبرات الكبيرة.

لماذا هذا مهم لـ AI باللغة الروسية

GigaChat3 هو أحد النماذج المفتوحة الرئيسية المحسّنة للغة الروسية ومهام Sberbank. يحافظ التحويل إلى نمط الانتشار على 'الذاكرة' اللغوية للنموذج: كل المعرفة والأنماط والميزات اللغوية المتراكمة أثناء التدريب المسبق تبقى سليمة. يتغير فقط آلية التوليد — ليس ما يعرفه النموذج، بل كيفية تعبيره عنه.

تدريب نموذج ذي جودة باللغة الروسية من الصفر أصعب بكثير من تكييف نموذج موجود: نقص البيانات التدريبية عالية الجودة والتكاليف العالية للتدريب المسبق تجعل 'إعادة معالجة' نقاط التفتيش الجاهزة جذابة من الناحية الاستراتيجية. إذا أثبتت نهج GFusion مزايا حقيقية في الجودة أو السرعة، يمكن توسيع نطاقها إلى نماذج لغة روسية أخرى موجودة بدون أشهر من إعادة التدريب.

ماذا يعني هذا

يوضح GFusion أن تحويل نماذج اللغة الكبيرة الانحدارية إلى نمط الانتشار هي مهمة قابلة للحل عملياً، يمكن الوصول إليها حتى بصيغة تدريب. إذا أكدت التجارب المستقبلية مزايا النهج، فسيفتح مساراً فعالاً للموارد لتحديث فئة كاملة من نماذج اللغة — بدون تكاليف دورة التدريب المسبق الكاملة.