Google DeepMind تطلق DiffusionGemma: نموذج MoE بحجم 26B ينتج النص أسرع بأربع مرات

أطلقت Google DeepMind نموذج DiffusionGemma، وهو نموذج لغوي مفتوح تجريبي بحجم 26 مليار معامل، يعتمد على انتشار النص بدلاً من التوليد التقليدي بالانحدار الذاتي. ويعمل على GPU أسرع بما يصل إلى أربع مرات من الأساليب القياسية.

ما هو انتشار النص

تولّد معظم النماذج اللغوية الحديثة النص رمزاً تلو الآخر من اليسار إلى اليمين، وهكذا تعمل GPT-4 وGemini وLlama وتقريباً جميع نماذج LLM الكبيرة. هذا الأسلوب موثوق ومدروس جيداً، لكنه يعاني من قيد جوهري: فسرعة الاستدلال تعتمد خطياً على طول الإجابة. وكلما طال النص، طال الانتظار وارتفعت تكاليف GPU.

يعمل DiffusionGemma بطريقة مختلفة. يبدأ النموذج بمخرجات مشوَّشة أو مقنَّعة، ثم يحسّنها تكرارياً حتى يحصل على نص متماسك، على غرار ما تفعله نماذج الانتشار مثل Stable Diffusion عند توليد الصور. والفارق الأساسي عن الانحدار الذاتي هو التوازي: فبدلاً من التسلسل الصارم، يستطيع مفكك الترميز القائم على الانتشار العمل على السياق بأكمله دفعة واحدة. وهذا بالتحديد ما يمنح تسارعاً بعدة أضعاف على وحدات GPU الحديثة.

تُجرى أبحاث انتشار النص منذ سنوات، لكن لم تكن هناك حتى الآن تقريباً نماذج مفتوحة واسعة النطاق من هذه الفئة. ويُعدّ DiffusionGemma من أولى التجارب العامة الجادة بهذا الحجم من مختبر كبير، ولهذا وحده يستحق الاهتمام.

البنية: 26B مع MoE

يعتمد DiffusionGemma على بنية خليط الخبراء (Mixture of Experts, MoE). وعلى عكس النماذج «الكثيفة» التي تُستخدم فيها جميع المعاملات مع كل طلب، تُفعّل بنية MoE مجموعة فرعية فقط من كتل الخبراء بحسب المدخلات. وهذا يتيح امتلاك عدد كبير من المعاملات بتكاليف حوسبة منخفضة نسبياً عند الاستدلال.

أبرز خصائص النموذج:

• 26B معامل في المجموع (بنية MoE)
• لا يُفعَّل عند الاستدلال سوى جزء من المعاملات
• انتشار النص بدلاً من الانحدار الذاتي
• تسريع التوليد حتى 4× على GPU
• وصول مفتوح للباحثين
• وضع تجريبي، وليس إصداراً تجارياً

يُعدّ الجمع بين MoE والانتشار رهاناً معمارياً غير تقليدي. فبنية MoE تخفّف الحمل من ناحية عدد المعاملات المستخدمة، بينما يخفّفه الانتشار من ناحية عدد خطوات التوليد. ومن الناحية النظرية، يعمل التحسينان معاً.

لماذا يغيّر هذا المعادلة

تُعدّ سرعة الاستدلال من أبرز المشكلات العملية للنماذج اللغوية الكبيرة. فالإجابة الطويلة مزعجة للمستخدم النهائي، أما لمزوّدي خدمات الاستدلال فهي نفقات مباشرة على وقت GPU تؤثر مباشرةً في تكلفة الخدمة.

تحقق الحلول الحالية، مثل التكميم (quantization) وfspeculative decoding والنوى المحسّنة، تسارعاً في حدود 1.5–2×. أما DiffusionGemma فيعلن عن 4×، وبآلية توليد مختلفة جذرياً. وإذا أمكن تكرار هذه النتيجة في ظروف واقعية، فنحن أمام تغيير في النهج وليس مجرد تحسين.

تنشر Google DeepMind النموذج في وصول مفتوح بوصفه أداة بحثية. وهذا يتيح للمجتمع الأكاديمي دراسة مفكك ترميز نصي قائم على الانتشار بحجم 26B. أما مسألة إصدار نسخة تجارية مبنية على هذه البنية فلا تزال مفتوحة.

ماذا يعني ذلك

يُعدّ DiffusionGemma إشارة إلى أن الانحدار الذاتي لم يعد النموذج العملي الوحيد في النمذجة اللغوية. فإذا أمكن توسيع نطاق نهج الانتشار دون تراجع في الجودة، فقد ترتفع سرعة استجابة أدوات AI بعدة أضعاف، دون نمو متناسب في تكاليف البنية التحتية.

ويستحق الانتباه في الأشهر المقبلة كيف سيدرس المجتمع هذا النموذج ويختبره بمقاييس الأداء.