Kandinsky S2V يحوّل الصورة إلى فيديو ناطق انطلاقًا من الصوت: مقطع مدته 10 ثوانٍ في 1,5 دقيقة على H100

تخيّلوا أنكم تحتاجون إلى مقدّم افتراضي لدورة تدريبية: لديكم صورة واحدة لأحد الموظفين وتعليق صوتي مسجّل، ولا ترغبون في تصوير فيديو جديد. هذه بالضبط هي المهمة التي يعالجها Kandinsky S2V 1.0 (speech-to-video، أي «من الكلام إلى الفيديو»)، الذي نشرته للعموم مختبرات Kandinsky Lab المرتبطة بـ Sber.

يأخذ النموذج صورة ومقطعًا صوتيًا، وينتج مقطعًا يتحدث فيه الشخص ويحرّك يديه وتتبدل تعابير وجهه. أسرع نسخة، Lite distill، تحسب 10 ثوانٍ من الفيديو في نحو 1,5 دقيقة على بطاقة NVIDIA H100 (بطاقة خوادم لتدريب النماذج وتشغيلها). وتشكّل اللغة الروسية 25,8% من الكلام في بيانات التدريب، وهي نسبة نادرة بين النماذج المفتوحة.

ويصف مؤلف مراجعة على Telegram نموذج S2V بأنه من أكثر النماذج المفتوحة إثارة للاهتمام من هذا النوع في الآونة الأخيرة. وفيما يلي ما يستطيع النموذج فعله وكلفة تشغيله.

ما المدخلات وما المخرجات

يحتاج النموذج إلى ثلاثة أشياء: صورة مرجعية واحدة، وكلام جاهز، ونصًا توجيهيًا (prompt) يصف طريقة حديث الشخص والمشاعر التي يُظهرها. يمكن كتابة الـ prompt بالإنجليزية والروسية. والمخرج فيديو بمعدل 25 إطارًا في الثانية بدقة عادية (SD) أو عالية (HD)، وبنفس أبعاد الصورة الأصلية.

يتحرك الجسم كله: تعابير الوجه والوضعية والإيماءات واليدان. في كثير من نماذج الأفاتار لا يتحرك سوى الشفتين والرأس، أما هنا فالمشهد أكثر حيوية. ولا يقتصر العمل على البشر، إذ تضم الأمثلة شخصيات كرتونية وحيوانات.

يقسّم النموذج الكلام الطويل إلى مقاطع مدة كل منها 5 ثوانٍ، ثم يصل بينها عبر «ذاكرة بصرية» كي لا يتغير مظهر الشخصية من مقطع إلى آخر. ويُولَّد HD بالأوزان نفسها المستخدمة في SD، ولم يكن من الضروري تدريب نموذج منفصل له.

حظيت اللغة الروسية باهتمام خاص: 25,8% من الكلام في بيانات التدريب روسي، كما جرى التحقق من الجودة على مجموعة بيانات ناطقة بالروسية. وهذا مهم للمنتجات المحلية ومقاطع الفيديو والمواد التدريبية.

قيد مهم: النموذج لا ينتج الصوت. يلزم تسجيل جاهز أو تخليق كلام (TTS)، لذا سيتعين في بيئة الإنتاج بناء سلسلة «نص ← صوت ← فيديو».

الأحجام والأوزان والعتاد

يتوفر النموذج بنسختين: Lite بـ 2 مليار معامل، وPro بـ 21 مليار. ولكل منهما نسخ مقطّرة (distilled)، وهي متغيرات أخف تعمل في 16 خطوة ودون CFG (تمرير إضافي لتعزيز الالتزام بالـ prompt). وبحسب المطورين، فهي أسرع من النموذج الأساسي بمقدار 5,4 مرة ولا تخسر في الجودة إلا القليل. وكلمة «القليل» هذه تستحق التحقق منها على مهامكم الخاصة.

يبلغ حجم المحوّل المرئي (DiT) نفسه 4,2 غيغابايت في Lite و39,8 غيغابايت في Pro. لكن مع Qwen2.5-Omni وCLIP وHunyuan VAE سيلزم تنزيل نحو 25 غيغابايت و65 غيغابايت على التوالي.

متطلبات بطاقة الرسوميات مرتفعة: بطاقة NVIDIA واحدة بذاكرة لا تقل عن 48 غيغابايت، و80 غيغابايت لدقة HD. وإذا فعّلتم offload.vae_tiling: true في ملف الإعدادات، ينخفض الذروة إلى نحو 28 غيغابايت، لكن تظهر في الإطارات فواصل بين أجزاء الصورة. ومع ذلك تبقى بطاقة منزلية بذاكرة 24 غيغابايت غير كافية.

السرعة: كم ننتظر للحصول على المقطع

قياسات H100 معطاة بعدد ثوانٍ من الحساب لكل ثانية واحدة من الفيديو:

• Lite distill (512×768): 8,7 ثانية، أي نحو 1,5 دقيقة لمقطع مدته 10 ثوانٍ؛
• Pro distill: 41,5 ثانية، أي نحو 7 دقائق لكل 10 ثوانٍ؛
• Pro HD (1280×768): 137 ثانية، أي نحو 23 دقيقة لكل 10 ثوانٍ.

عند توزيع الحساب على عدة بطاقات (4 لـ Lite و8 لـ Pro)، يصبح الزمن 3,8 و11,4 ثانية لكل ثانية فيديو. ينخفض وقت الانتظار، لكن فاتورة استئجار GPU ترتفع.

كيف نستفيد منه

تناسب نسخة Lite distill النماذج الأولية: شخصيات ناطقة، وردود فيديو لمساعد ذكي، ومقاطع تدريبية مترجمة محليًا. أما Pro وHD فمن المنطقي تخصيصهما للتصيير النهائي، حيث تهم التفاصيل ويمكن الانتظار. وتعني 23 دقيقة على H100 مقابل 10 ثوانٍ بدقة HD أننا لم نعد أمام تفاعل فوري بل معالجة دفعية، ومن الأفضل حساب الجدوى الاقتصادية مسبقًا.

وبالنسبة للمنتجات الناطقة بالروسية، فإن إتاحة الأوزان بحد ذاتها مهمة: يمكن تشغيل النموذج على بنيتكم التحتية دون إرسال الوجوه والأصوات إلى خدمات خارجية. ويمكن تجربته عبر العرض التجريبي على Hugging Face، والشيفرة متاحة على GitHub، والأوزان منشورة في مجموعة kandinskylab.