NVIDIA تفتح Open-H3-Regenerate-2K-IC: رفع دقة الفيديو إلى 4K دون انحراف الوجوه

إذا سبق أن مررتم فيديو مولَّدًا عبر أداة رفع دقة، فأنتم تعرفون هذا التأثير. الصورة أصبحت أوضح، لكن ذقن البطل انحرفت، والشفاه تعيش بمعزل عن الكلام، ولافتة الخلفية تحولت إلى خليط من حروف زائفة. نشرت NVIDIA في المصادر المفتوحة بنية وشيفرة Open-H3-Regenerate-2K-IC التي تستهدف هذه المشكلة تحديدًا.

أين كان الخلل

كانت الأساليب السابقة لرفع الدقة تعمل هكذا: تؤخذ مسودة منخفضة الجودة، وتُمزج بها ضوضاء، ثم «يُعاد توليدها» بدقة عالية في ثلاث خطوات انتشار. المشكلة أن الضوضاء تمحو جزءًا من المعلومات. فلا يعود النموذج يرى كيف كان الوجه تحديدًا، وإلى أين كانت العيون تنظر، وما الحروف التي كانت على اللوحة. فيُكمل التفاصيل على ذوقه، ومن هنا ينشأ انحراف ملامح الوجه، واضطراب حركة النطق، وتشوش النص.

تخيلوا مرمّمًا أعطوه بدل الأصل نسخة مصوّرة غمرتها القهوة. سيرسم بشكل جميل، لكن ليس بالضرورة ما كان موجودًا.

ما الذي تغيّر في بنية IC

تعني IC اختصار In-Context. لا تُضاف ضوضاء إلى المسودة. بل تدخل كاملةً وبشكلها النقي إلى سياق المحوّل Ref2VA، بينما يُولَّد الفيديو عالي التفاصيل من الضوضاء بجانبها. وفي كل خطوة انتشار يتوجه النموذج عبر آلية الانتباه مباشرة إلى رموز المسودة السليمة.

لنعد إلى المرمّم: الأصل الآن على الطاولة، وهو يتحقق منه عند كل ضربة فرشاة. ما الذي يُلوَّن تحديدًا يقرره النموذج بنفسه، لكنه يرى ما كان في الأصل دون تشويه.

وبحسب الإعلان، يعمل المخطط مع مقاطع مدتها من 5 إلى 15 ثانية. المدخلات مسودات بدقة 384P و768P، والمخرجات 2K و4K. ويجري الانتشار في 3 خطوات بالدقة الكاملة، أما فك ترميز VAE فهو، بحسب المؤلفين، أسرع 5 مرات من واجهة MiniMax المغلقة. وثمة فارق مهم: عدد الخطوات (ثلاث) بقي كما كان. المكسب ليس في السرعة بحد ذاتها، بل في أن الخطوات الثلاث نفسها تستند الآن إلى مصدر لم يُمسّ.

ماذا نفعل بهذا عمليًا

الأهم: صار لخدمة رفع الدقة المملوكة من MiniMax بديل مفتوح. الشيفرة في المستودع NVlabs/Sana، والتنفيذ مبني على أوزان H3 وإطار العمل المفتوح SoL-Refiner. وإذا كان منتجكم يدفع حاليًا مقابل واجهة رفع دقة مغلقة، فمن المفيد تشغيل مقاطعكم الخاصة على هذا النموذج ومقارنة النتائج.

الأفضل الاختبار على أصعب اللقطات:

• لقطات قريبة مع كلام، لفحص الشفاه وتعابير الوجه؛
• مشاهد فيها لافتات وعناوين وواجهات، لفحص النص؛
• مقاطع طويلة قريبة من 15 ثانية، لمعرفة ما إذا كان الانحراف يتراكم.

بالنسبة لمديري المنتجات والاستوديوهات، فإن المبدأ نفسه مثير للاهتمام. فإذا كنتم تبنون خط إنتاج «مسودة سريعة بدقة منخفضة، ثم تصيير نهائي منفصل»، فإن رفع الدقة هذا يتيح التكرار بكلفة زهيدة على المسودات دون فقدان تعرّف الشخصيات في المخرجات.

القيود

كل الأرقام مأخوذة حتى الآن من إعلان NVIDIA ومن منشور في القناة. لم أطّلع على اختبارات أداء مستقلة ولا على مقارنات مع MiniMax على بيانات خارجية. ولم يُذكر في المواد حجم ذاكرة الفيديو اللازم لدقة 4K ولا ترخيص الأوزان، ويجب التحقق من ذلك في المستودع قبل اعتماد النموذج في الإنتاج.

إضافة إلى ذلك، فإن مخطط السياق يُدخل بحكم تعريفه إلى المحوّل المسودة والرموز المولَّدة معًا. وبالنسبة للمقاطع الطويلة والدقات العالية يعني ذلك عادةً متطلبات ذاكرة ملحوظة. ومدى وضوح ذلك هنا لن تكشفه إلا الاختبارات.

الخلاصة: الفكرة واضحة وصحيحة، وإن لم تكن ثورية. ألّا نخلط النموذج بالمصدر، بل نتيح له أن ينظر إليه. وإذا تأكدت الادعاءات، فسيحصل خط الفيديو المفتوح على حجة قوية في وجه الواجهات المدفوعة.