MultiMDM: نموذج لغوي انتشاري يولّد النص في بضع خطوات

قدّم باحثون MultiMDM (multi-mask diffusion model)، وهو نموذج لغوي انتشاري يستخدم عدة أقنعة بدل قناع واحد، وبذلك يولّد النص في عدد قليل من الخطوات دون خسارة في الجودة. نُشرت النسخة الأولية من الورقة (preprint) على arXiv ضمن قسم cs.CL في يوليو 2026.

لماذا تتعثر عملية التوليد بعدد قليل من الخطوات؟

تعمل نماذج masked diffusion models (MDM) المعتادة بشكل سيئ في نمط few-step، لأن جميع مساراتها الأمامية تنهار إلى حالة واحدة مقنّعة بالكامل. وفي هذه النقطة لا تبقى «إنتروبيا متبقية» تعتمد عليها مقاربات consistency للتوليد في عدد قليل من الخطوات، فلا يجد النموذج ما يستند إليه.

أما البديل المتمثل في uniform-state diffusion فيتفادى هذا التدهور، لكنه يدفع ثمناً آخر: إذ يصعب فيه التمييز بين الرموز النظيفة (tokens) والضوضاء. وبحسب arXiv، ينعكس ذلك عادةً على جودة التوليد وعلى كفاءة التدريب معاً. ويعالج MultiMDM المشكلتين في آن واحد، مع بقائه داخل نموذج «الأقنعة».

والسرعة هنا ليست أمراً شكلياً: فكلما قلّت الخطوات، صار الاستدلال (inference) أرخص وأسرع، ولذلك يُعدّ نمط few-step مفتاح الجدوى العملية للنماذج اللغوية الانتشارية (LLM).

ماذا يقترح MultiMDM؟

يحافظ MultiMDM على بنية الإخفاء، لكنه يُدخل مجموعة من عدة أقنعة بدل قناع وحيد. ففي العملية الأمامية (forward) يُدفع كل رمز نظيف أولاً نحو القناع المخصص له، ثم يُمزج تدريجياً عبر مجموعة الأقنعة كلها.

وبفضل ذلك تكتسب العملية العكسية (backward) قدرة على «المسوّدة» (drafting): يتنبأ النموذج أولاً بالقناع المخصص، ثم يصقله ليصل إلى الرمز النظيف. وهذه الحركة المزدوجة هي التي تتيح الاكتفاء بعدد قليل من الخطوات.

وعلى عكس القناع الوحيد في نماذج MDM الكلاسيكية، تمنح مجموعة الأقنعة النموذج «هامش مناورة»، أي الإنتروبيا المتبقية نفسها التي كانت تنقص نمط few-step.

• النموذج: MultiMDM (multi-mask diffusion model)، نسخة أولية على arXiv (cs.CL)، يوليو 2026
• الفكرة الأساسية: عدة أقنعة بدل قناع واحد للحفاظ على بنية الإخفاء من أجل التوليد بعدد قليل من الخطوات
• العملية العكسية (backward) تعمل على مرحلتين: مسوّدة أولاً (التنبؤ بالقناع)، ثم التنقيح وصولاً إلى الرمز النظيف
• التدريب: closed-form ELBO يتيح continual training فوق نماذج MDM المدرَّبة مسبقاً
• التقطير: consistency distillation في حالة منفصلة (discrete-state) بحتة مع shared-Gumbel coupling

كيف يجري تدريبه؟

اشتق المؤلفون closed-form ELBO، وهو هدف تدريبي بصيغة مغلقة يتيح عدم تدريب MultiMDM من الصفر، بل مواصلة تدريبه فوق نماذج MDM الجاهزة المدرَّبة مسبقاً. وهذا يخفض كلفة الدخول بشكل ملحوظ، إذ تصبح النماذج القائمة نقطة انطلاق.

أما المكوّن الثاني فهو consistency distillation في حالة منفصلة بحتة، مع shared-Gumbel coupling الذي يقلّل pathwise-entropy. والغرض من التقطير هو «ضغط» التوليد متعدد الخطوات إلى بضع خطوات مع الحفاظ على الجودة.

«يوفّر

MultiMDM أساساً فعّالاً للتوليد المبدئي بعدد قليل من الخطوات»، بحسب ما جاء في ملخص الورقة على arXiv.

ماذا يعني ذلك؟

تُعدّ النماذج اللغوية الانتشارية البديل الرئيسي للنماذج الانحدارية الذاتية (autoregressive) المعتادة، التي تكتب النص رمزاً تلو الآخر بصرامة. أما الانتشار فيستطيع توليد مقطع كامل دفعة واحدة وصقله عبر عدة تمريرات، ويمثل MultiMDM خطوة نحو تحقيق ذلك بسرعة ودون تراجع في الجودة، بالاعتماد على نماذج مدرَّبة سلفاً.

أسئلة شائعة

ما الفرق بين MultiMDM ونماذج masked diffusion المعتادة؟

يستخدم MultiMDM مجموعة كاملة من الأقنعة بدل قناع واحد. وهذا يحافظ على بنية «الأقنعة» ويمنح العملية العكسية قدرة على المسوّدة، فتتنبأ بالقناع أولاً ثم تصقل الرمز، وهو ما تفتقر إليه نماذج MDM الكلاسيكية بحالتها الوحيدة المقنّعة بالكامل.

هل يجب تدريب MultiMDM من الصفر؟

لا. فبحسب arXiv، يتيح closed-form ELBO إجراء continual training فوق نماذج MDM المدرَّبة مسبقاً، أي استخدام النماذج القائمة كنقطة انطلاق بدلاً من تدريب نموذج جديد من الصفر.