Kling تكشف كيف تعلّم نموذج الفيديو الإصغاء للمخرج: حكمان ومحسّن ذكي للأوامر

يعرف كل من جرّب التحكم في مولّد فيديو هذه المعاناة: تكتب «اصنعه مثل هذا» فتحصل على خلفية غريبة وإضاءة زائدة وبطل تتشوّه يده. نشر فريق Kling ورقة بحثية أولية يشرح فيها بالتفصيل كيف يحاول علاج هذه المشكلة. والاستنتاج مفاجئ: لم تعد البكسلات العقبة الرئيسية. الأمر يتعلق بمدى فهم النموذج لما يُطلب منه.

ترميز يشبه جدول المونتاج

الطبقة الأولى من الحل هي البيانات. فالتعليقات المعتادة على الفيديو، مثل «رجل يركض»، تجبر نموذج الانتشار على تخمين التفاصيل عشوائيًا. تحلل الورقة مقطعًا مدته 18 ثانية، أخطأ فيه الوصف القياسي فخلط بين قطع حاد وانتقال سلس، ولم ينتبه إلى أن الحوار بدأ قبل ظهور البطل. وإذا ضاعت هذه التفاصيل في نصوص التدريب، فلن يتعلم النموذج التحكم بها.

لذلك تعتمد Kling أوصافًا كثيفة قدر الإمكان: الوضعيات والخامات وزوايا التصوير ومسارات الحركة. ويسمي الفريق ذلك «عقدًا دلاليًا» بين النص والفيديو. وفي وضع image-to-video يضيفون ربطًا بين أجزاء الصورة الأصلية والكائنات الواردة في الوصف.

ويُدرَّب النموذج كذلك على أدوار المراجع: الوجه من الصورة الأولى، والسترة من الثانية، وحركة الكاميرا من الفيديو، ولا شيء غير ذلك. فبدون ربط صريح يتحول «اصنعه مثل هذا» إلى «وخذ معه الخلفية والإضاءة أيضًا».

محسّن أوامر يرى النتيجة

يكتب المستخدمون أوامر من ثلاث إلى خمس كلمات. ويترجمها المحسّن إلى لغة النموذج. يُدرَّب أولًا على إعادة صياغة الطلبات بأسلوب الأوصاف المفصلة. ثم تُنتَج عدة نسخ من الأمر لطلب واحد، وتُولَّد مقاطع الفيديو وتُقيَّم النتيجة. وتُمنح المكافأة وفق جودة الفيديو لا جمال النص.

وهناك أثر جانبي صريح. أصبحت النتيجة أكثر ثباتًا، لكن أكثر الخيارات تعبيرًا تضررت. فإذا عاقب الحكم الشوائب، يصبح الأجدى اختيار حركة كاميرا آمنة يجيدها النموذج أصلًا. قصة كلاسيكية: تُحسّن الموثوقية وتخسر التألق.

حكمان ودروس هذه التجربة

لدى Kling مقيِّمان. الأول يشرح أين ولماذا حدث الخلل: أصابع ضبابية، إضاءة وامضة. والثاني يضع التقييمات بسرعة للحركة وجودة الصورة والتوافق مع الطلب، وهو المطلوب للتعلم المعزز واسع النطاق. ويجب أن يرى الحكم عددًا كافيًا من الإطارات، وإلا فاته عيب يدوم جزءًا من الثانية.

واستنتاج آخر مثير: ربط نموذج لغوي أكثر «ذكاءً» كمشفّر نصي لا يحسّن الفيديو. فالمشفّر يحتاج إلى تعلم إدراكي: العلاقات المكانية والبصريات والتكوين، لا المسائل المنطقية. وقد جرت تهيئة الجزء متعدد الوسائط في Kling-MLLM من عائلة Qwen مع إضافة معالجة الصوت. أما المقطع نفسه فيولّده نموذج منفصل.

ماذا نفعل بذلك عمليًا

للمطورين ومديري المنتجات الذين يبنون منتجات على توليد الفيديو، تتضح من الورقة عدة أمور.

أولًا، إذا كنتم تضبطون نماذج الفيديو أو تقيّمونها، فجودة الترميز أهم من حجم النموذج. فالأوصاف الكثيفة ذات البنية المونتاجية تمنح تحكمًا لا تمنحه التعليقات القصيرة.

ثانيًا، إذا صممتم واجهة بعدة مراجع، فدعوا المستخدم يحدد صراحةً ما يُؤخذ من كل مرجع. يمكن تعليم النموذج ذلك، لكن على الواجهة أيضًا أن تعبّر عن النية.

ثالثًا، راقبوا نموذج المكافأة. فأي حكم يدفع التوليد نحو الآمن، وإذا حسّنتم فقط غياب الشوائب فستحصلون على فيديو مملّ. المطلوب توازن في المقاييس: الحركة والصورة والتوافق مع الطلب، وبشكل منفصل التعبيرية.

وأخيرًا، افصلوا الفهم عن التصيير. فـ Kling تبني فعليًا حول المولّد منظومة كاملة: مُرمِّز ومحسّن وحكّام. وهذه إشارة للقطاع: الميزة التنافسية لنماذج الفيديو تنتقل من حجم محوّل الانتشار إلى جودة البيانات والتغذية الراجعة.

القيد واضح: هذه ورقة أولية من الفريق نفسه، دون قياسات مستقلة، ولم تُكشف حصة تأثير كل مكوّن. لكن كخريطة لاتجاه توليد الفيديو، يبقى النص مفيدًا.