ComfyUI يحصل على RelayVSR: رفع دقة الفيديو إلى 4K في الوقت الفعلي باستخدام 14 غيغابايت من VRAM

ما المشكلة؟

كل من جرّب تحسين الفيديو باستخدام النماذج التوليدية يعرف المشكلة: الجودة ممتازة، لكن كل إطار يُعالج كأنه صورة مستقلة. هذا بطيء، كما تبدأ التفاصيل بالوميض بين الإطارات. أما أدوات رفع الدقة التقليدية والسريعة فتعمل بكفاءة، لكنها تنتج صورة ضبابية من دون تفاصيل جديدة.

يحاول RelayVSR، الذي أصبح مدعوماً الآن في ComfyUI، حل هذه المعضلة. الفكرة بسيطة وتشبه سباق التتابع: يقطع النموذج الثقيل الأجزاء الأولى فقط، ثم يسلّم العصا إلى نموذج خفيف.

كيف يعمل؟

تُسمى البنية Sparse Generative Relay. يولّد النموذج التوليدي الكبير مراجع كامنة غنية بالتفاصيل لإطارات مفتاحية متباعدة فقط، مثل إطار واحد من بين عشرات الإطارات. بعد ذلك، ينقل محول خفيف بذاكرة مزدوجة، يُسمى Dual-Memory Video Transformer، هذه التفاصيل إلى جميع الإطارات الوسيطة في التدفق.

تخيل مرمماً ومساعده. يرسم المرمم وجه الشخصية بعناية في إطار واحد. ولا يعيد المساعد الرسم من الصفر، بل ينسخ هذه المعالجة بدقة إلى الإطارات المجاورة مع مراعاة الحركة. وتُستخدم الذاكرة المزدوجة هنا لتذكر كل من السياق الحديث والإطارات المرجعية.

لكن لهذه الآلية مشكلة منفصلة: الأخطاء تتراكم. فإذا ظهر أثر مصطنع في إطار واحد، فإنه يمتد إلى الإطارات التالية. ولمواجهة ذلك، يستخدم المطورون تدريباً بالتعزيز يسمى Video-Aware Reference Optimization (VARO)، يعلّم النظام عدم مراكمة العيوب عبر المسافات الطويلة.

الأرقام والعتاد

تعتمد النتائج المعلنة على التكميم. تتوفر أوزان INT8 باسمَي relayvsr_x4_int8_convrot وrelayvsr_x2_lightx2v_int8_convrot. وباستخدامها، يقدم النظام 30 إطاراً في الثانية بدقة 1080p على بطاقة رسومية استهلاكية واحدة، ويستهلك نحو 14 غيغابايت من ذاكرة الفيديو. وهذا يعني أنه يستهدف بطاقات بسعة 16 غيغابايت أو أكثر.

لكن هناك تحفظاً مهماً. يمكن رفع الدقة إلى 1080p و4K، إلا أن الوصف يشير إلى أن المعالجة الفعلية في الوقت الحقيقي تتطلب بطاقة A100. لذلك، ينطبق وصف «الوقت الفعلي على بطاقة منزلية» على 1080p، أما 4K فيتطلب عتاد خوادم أو القبول بالمعالجة غير الفورية.

ماذا يمكن أن نفعل به؟

إذا كنت تطور خدمات فيديو أو أنظمة بث أو حلولاً لمعالجة الأرشيف أو أدوات للمونتاج، فمن المفيد تجربته. النماذج متاحة بالفعل على Hugging Face ضمن مؤسسة Comfy-Org، وللمطورين صفحة على kopperx.github.io، كما يمكن تشغيله عبر دفاتر تعاونية من دون عناء التثبيت المحلي.

نصائح عملية:

• اختبر على موادك الخاصة وميض التفاصيل والسلوك في المشاهد السريعة وعند الانتقال بين اللقطات، إذ يمكن أن تخطئ الإطارات المفتاحية المتباعدة في هذه الحالات تحديداً.
• قارن بين أوزان x2 وx4: يكفي رفع الدقة بمقدار الضعف لكثير من المهام، ومن المرجح أن يكون أكثر استقراراً.
• قِس السرعة الفعلية على بطاقتك بدلاً من الاعتماد على أرقام الإعلان وحدها.

القيود

لا تزال هذه في الوقت الحالي ادعاءات المطورين، كما أن التكامل حديث. لا تتضمن المادة اختبارات أداء مستقلة، ولا تذكر شيئاً عن السلوك مع المحتوى المعقد، مثل النصوص والرسومات الصغيرة والحركات الحادة. كذلك، يبتكر رفع الدقة التوليدي التفاصيل بطبيعته، ما يشكل خطراً في الاستخدامات الوثائقية أو القضائية: ستصبح الصورة أجمل، لكنها لن تكون بالضرورة أدق.

الخلاصة: إذا ثبت أن تركيبة «إطارات مكلفة ومتباعدة مع نقل منخفض التكلفة» تحافظ على الجودة، فقد تصبح نموذجاً جيداً لمهام فيديو أخرى. يستحق RelayVSR التجربة بالفعل لمن تصطدم أعمالهم بسرعة رفع الدقة، وهو أحد الحالات القليلة التي يقترب فيها النهج التوليدي من الوقت الفعلي.