SWIM يوفّر الحوسبة: توليد الصوت والفيديو يتفوق بما يصل إلى 30,7% على Best-of-N

نشر فريق من الباحثين على arXiv طريقة SWIM (Spend Where It Matters) التي تحسّن التوليد المشترك للصوت والفيديو دون إعادة تدريب النموذج ودون زيادة الميزانية الحوسبية. على معيار JavisBench-Mini وبتكاليف متقاربة، بلغ متوسط التحسن النسبي عبر سبعة مقاييس 30,7% مقارنة بـ Best-of-N و14,1% مقارنة بـ EvoSearch مع JavisDiT++. أما مع LTX-2 فالأرقام مختلفة: 9,2% مقارنة بـ Best-of-N و17,0% مقارنة بـ EvoSearch.

لماذا تُعدّ المواءمة أثناء الاستدلال مكلفة؟

تعني Reward-guided inference-time alignment أن النموذج لا يُعاد تدريبه، بل تُختار أثناء التوليد النتيجة التي تعظّم مكافأة محددة. وفي التوليد المشترك للصوت والفيديو تتعدد المكافآت عادةً: جودة الصورة، وجودة الصوت، وتزامنهما، وغير ذلك. ويتطلب تقييم كل مرشح تشغيل نموذج ثقيل، لذلك تصطدم الأساليب التقليدية سريعًا بحدود الميزانية عندما تكون الموارد محدودة.

لدى الأساليب الحالية نقاط ضعف متعاكسة. فالبحث القائم على الجسيمات يستكشف الفضاء جيدًا على المستوى الشامل، لكنه يُنتج خطأ في التقدير عندما يكون عدد الجسيمات محدودًا. أما خوارزمية Metropolis-Hastings (MH) فتستطيع تحسين المرشح محليًا، لكنها تحتاج إلى نقطة انطلاق جيدة. وقد جمع مؤلفو SWIM بين النهجين في مخطط واحد من مرحلتين.

كيف يعمل SWIM

لا يتطلب الإطار تدريبًا ولا يعتمد على دالة مكافأة محددة. في المرحلة الأولى تُوزَّع الجسيمات على نقاط التحقق في عملية إزالة الضوضاء (denoising) بشكل تكيفي، استنادًا إلى تقديرات التباين المحسوبة أثناء التشغيل. وبذلك تتركز الحوسبة حيث تعطي فائدة أكبر، ويُخفَّض تباين التقدير إلى الحد الأدنى.

ناتج المرحلة الأولى هو مرشح واعد. وفي المرحلة الثانية تعمل MH على المخرجات الجاهزة: تُبنى المقترحات عبر إضافة ضوضاء محلية ثم إعادة إزالتها، ويُقرَّر قبول الخطوات بحسب المكافأة. ولأن نقطة الانطلاق قوية، تحصّل MH مكافأة إضافية دون زيادة عدد الجسيمات ودون بحث شامل مكلف. ويؤكد المؤلفون أنه عند تساوي الحوسبة تتفوق حلقة البحث مع تحسين MH على كل من النهجين منفردًا.

ماذا أظهرت التجارب

• JavisDiT++ على JavisBench-Mini: +30,7% مقارنة بـ Best-of-N و+14,1% مقارنة بـ EvoSearch (متوسط التحسن النسبي عبر سبعة مقاييس).
• LTX-2 على JavisBench-Mini: +9,2% مقارنة بـ Best-of-N و+17,0% مقارنة بـ EvoSearch.
• SD1.5 في توليد الصور: أعطى التوزيع التكيفي للجسيمات +2,2% في AestheticScore و+6,0% في ImageReward مقارنة بالتوزيع المتساوي.
• أُجريت المقارنة بتكاليف حوسبية متقاربة.

ومن اللافت أن تفوّق SWIM على Best-of-N مع LTX-2 أضعف منه مع JavisDiT++، لكنه أقوى على EvoSearch التطوري. فالمكسب يعتمد على النموذج الأساسي، ولا يوجد معامل تحسّن عام. أما نتائج SD1.5 فتخص المرحلة الأولى فقط، أي التوزيع التكيفي، ولم يُقيَّم تحسين MH في هذه التجربة.

أين يفيد هذا؟

بالنسبة إلى الفرق التي تبني خطوط توليد الفيديو المصحوب بالصوت، الخلاصة العملية الرئيسية هي أنه عند حد معيّن من ساعات GPU، يكون توزيع الجسيمات على خطوات إزالة الضوضاء بحسب التباين أجدى من التوزيع المتساوي أو من الاعتماد الكامل على Best-of-N. وإذا كانت المكافأة غير قابلة للاشتقاق أو كان النموذج مغلقًا، تبقى الطريقة قابلة للتطبيق لأنها لا تستخدم التدرجات ولا تتطلب إعادة تدريب.

والقيود واضحة أيضًا. فقد أُجري التقييم على JavisBench-Mini، وهي نسخة مصغّرة من المعيار، كما أن مجموعة النماذج مقتصرة على JavisDiT++ وLTX-2 وSD1.5. وقبل نقل النهج إلى الإنتاج، يجدر اختباره على المكافآت الخاصة بكل فريق وعلى النطاق الكامل للمهام. لكن المبدأ نفسه، أي إنفاق الميزانية حيث تخفّض الخطأ فعلًا، عام ويسهل نقله إلى خطوط توليد انتشارية أخرى.