DiffusionART يسرّع التدريب بالتعلم المعزز لنماذج الفيديو 12 مرة دون ضبط دقيق لـ EMA

نشر فريق من الباحثين على arXiv طريقة DiffusionART للتعلم المعزز عبر الإنترنت للنماذج الانتشارية. تستهدف الطريقة مشكلتين معروفتين: بطء Flow-GRPO وحساسية DiffusionNFT المفرطة للضبط. في التجربة الرئيسية على HunyuanVideo-13B، حيث تدخل الجودة البصرية وجودة الحركة في المكافأة بأوزان متساوية، يبلغ DiffusionART المستوى المتأخر لمتوسط المكافأة الذي يصل إليه DiffusionNFT أسرع بمقدار 12.02 مرة من حيث ساعات GPU، وأسرع بمقدار 11.72 مرة من Flow-GRPO-Fast. كما أن متوسط المكافأة أثناء التدريب أعلى بنسبة 28.8% و53.0% على التوالي. والدراسة نسخة أولية (preprint)، ولا توجد حتى الآن عمليات تكرار مستقلة لنتائجها.

أين تعثّرت الأساليب السابقة

يلزم التعلم المعزز عبر الإنترنت حين يجب تكييف النموذج وفق مكافآت لا يمكن اشتقاقها، مثل تقييم الجمالية وجودة الحركة وتفضيلات البشر. تعمل طرق العملية العكسية، مثل Flow-GRPO، على امتداد مسار إزالة الضوضاء. تصل المكافأة واحدةً للعيّنة كلها، بينما الخطوات كثيرة. ولا يتضح أيّ الخطوات أسهم في النتيجة، ولذلك يكون إسناد الفضل (credit assignment) ضعيفًا، ويصبح التدريب مكلفًا.

أما طرق العملية الأمامية، مثل DiffusionNFT، فهي أكثر كفاءة، لكنها تعتمد على متوسط متحرك أسي (EMA) مضبوط بعناية للتدريب خارج السياسة (off-policy). ومن دونه ينزلق التدريب إلى عدم الاستقرار. ويفسّر مؤلفو DiffusionART السبب. فبحسب تحليلهم، تنطوي الأهداف الشبيهة بـ NFT على قوة اتساق خفية بين العمليتين الأمامية والعكسية. والتدريب المشترك على الأمثلة الموجبة والسالبة يخمّد هذه القوة جزئيًا فقط. أما EMA فلا تحقق الاستقرار بفضل عمليات roll-out خارج السياسة، كما يُعتقد عادةً، بل عبر «الاسترجاع»: فهي تعيد المعاملات إلى الوراء عندما ينحرف النموذج.

كيف يعمل DiffusionART

يُفكّ اسم الطريقة هكذا: Diffusion Reinforcement with Aggregation-First Reward Tilting. تبدأ الطريقة بتجميع مكافآت جميع عيّنات الموجّه الواحد في اتجاه تحسين مشترك لحالات العملية العكسية. وبذلك تُزال قوة الاتساق الخفية بنيويًا بدل تخميدها جزئيًا. ثم تأتي خطوة ثانية، وهي تحديث إضافي بقناع منطقة الثقة (trust region). يعيد هذا التحديث النموذج إلى الوراء كلما انحرف، أي أنه يتولى دور EMA، لكن دون الحاجة إلى ضبط معاملاتها.

أبرز معطيات العمل:

• الاختبار الرئيسي: HunyuanVideo-13B، مع مكافآت للجودة البصرية والحركة بأوزان متساوية.
• الكسب في ساعات GPU للوصول إلى المستوى المتأخر من المكافأة: 12.02× مقابل DiffusionNFT، و11.72× مقابل Flow-GRPO-Fast.
• متوسط المكافأة أثناء التدريب: أعلى بنسبة 28.8% من DiffusionNFT، وأعلى بنسبة 53.0% من Flow-GRPO-Fast.
• لا يتطلب نموذج مكافأة قابلًا للاشتقاق.
• تظل الطريقة فعّالة مع عدد أقل من العيّنات لكل موجّه.
• يعمل متغيّر DiffusionART-Pairwise مع نماذج المكافأة الزوجية.
• يُعلن الباحثون أن الطريقة قابلة للتطبيق على توليد الصور والفيديو دون ضبط خاص بكل مهمة.

ماذا يعني ذلك عمليًا

بالنسبة إلى الفرق التي تواصل تدريب نماذج الفيديو والصور بإشارات المكافأة، تكمن القيمة الرئيسية في التكلفة. فتشغيل تدريب نموذج فيديو بـ 13 مليار معامل يُقاس بآلاف ساعات GPU، وخفض الزمن بمقدار رتبة عشرية كاملة يغيّر ميزانية التجارب. كما أن الاستغناء عن ضبط EMA يزيل طبقة أخرى من البحث المتكرر في المعاملات الفائقة، وتقلّل الحاجة إلى عدد أقل من العيّنات لكل موجّه كلفة كل خطوة.

ويفيد متغيّر Pairwise حيث لا يوجد تقييم رقمي، بل مقارنات «أفضل/أسوأ» فقط، كما في بيانات المُعلِّمين البشر.

ومع ذلك، لا بد من الحذر. فالأرقام الواردة في الملخص تصف متوسط المكافأة أثناء التدريب وسرعة بلوغ مستوى محدد. وهي لا تبيّن كيف تبدو النتيجة للإنسان على موجّهات محجوزة (held-out)، ولا تستبعد حدوث reward hacking، حين يتكيّف النموذج مع المقياس لا مع الجودة الفعلية. وقبل نقل الطريقة إلى خط الإنتاج الخاص بك، يُستحسن انتظار صدور الشيفرة وإعادة إنتاج النتائج بصورة مستقلة، وتقييمات على مجموعات محجوزة بمشاركة بشرية.