VibeVideoBench: وكلاء يكتبون الفيديو بالكود، وأفضلهم ينجح في 76.3% من المهام

تنتج نماذج الفيديو الانتشارية مقاطع لافتة، لكنها لا تستطيع رسم معادلة دقيقة أو مخطط صحيح أو لعبة تلتزم بقواعدها، ولا توليد تعليق صوتي متزامن مع ما يجري على الشاشة بشكل موثوق. وقد ظهر بديل بالفعل: وكلاء متعددو الوسائط يكتبون كودًا يصيّر كل إطار ويولّد كل صوت. وأعدّ مؤلفو VibeVideoBench، ومنهم Muxi Diao وWenbin Xu وLele Yang وZhanyu Ma، ما يصفونه بأنه أول اختبار أداء لمثل هؤلاء الوكلاء في المجال المفتوح مع الصوت. يضم الاختبار 239 مهمة وتسعة أنظمة متقدمة (frontier) و2 151 تشغيلًا خضع للتقييم. ولا يستوفي أفضل نظام جميع المتطلبات الأساسية إلا في 76.3% من المهام.

ساعة واحدة، وبيئة معزولة، وTTS فقط

المهام مكتفية بذاتها وصيغت بالإنجليزية والصينية. وتنقسم إلى 12 فئة، منها: قصص قائمة على البيانات، ومقاطع على إيقاع الموسيقى، ودروس مدرسية، وشروحات لأوراق علمية، وألعاب، ومقاطع عن عملية التجميع، وغيرها. يعمل الوكيل باستقلالية كاملة داخل بيئة معزولة، ضمن إطاره «الأصلي» الخاص به. ولا توجد هناك مولّدات للصور أو الفيديو، والمتاح هو تركيب الكلام فقط. والمخرج المطلوب ملف MP4 جاهز بالصوت، يجب تسليمه خلال ساعة واحدة.

يختبر ذلك عدة مهارات معًا: اختيار أداة التصيير، وكتابة السيناريو، ومزامنة الصوت مع الصورة، والالتزام بالوقت. ويستخدم كل نظام حزمة التصيير الخاصة به، ولا يفرض المؤلفون خط معالجة (pipeline) موحّدًا.

تقييم من ثلاثة مستويات: من الملف إلى الجودة

التقييم هرمي ويستند إلى الأدلة:

• L1. فحوص برمجية لمواصفات التسليم: الملف موجود، والصيغة صحيحة، والصوت حاضر.
• L2. نحو 13 ألف فحص وفق معايير (rubrics) كُتبت لمهام محددة. ويرتبط كل فحص بالمتطلب الذي يتحقق منه.
• L3. خمسة أبعاد للجودة، مثبّتة لكل مهمة على حدة.

يحكم على المقاطع ثلاث لجان مستقلة من قضاة VLM. ولا تُسنَد فحوص الصوت إلا إلى القضاة القادرين على سماع الصوت.

من في الصدارة وأين تضيع المقاطع

يذكر الترتيب ثلاثة أنظمة من أصل تسعة:

• GPT-6 Astra — المركز الأول في تقييم القضاة وفي التقييمات العمياء للبشر معًا.
• Claude Opus 5.5 — المركز الثاني في كلا التقييمين.
• Gemini 4 Argon — يسلّم 77% من المقاطع. وإذا احتُسبت الفيديوهات المفقودة صفرًا، يتراجع من المركز الرابع إلى السابع.

يصبح التسليم محورًا ثانيًا في الترتيب. فمن بين 224 تشغيلًا انتهت دون فيديو قابل للتشغيل، بدأ التصيير النهائي في 169 منها متأخرًا جدًا، أو جرى ببطء شديد، أو لم يبدأ إطلاقًا. المشكلة تكمن في طريقة تخطيط الوكلاء لساعتهم، لا في قدرتهم على كتابة الكود. فقد ينجح النموذج في بناء المشهد ببراعة ثم لا يلحق بتصييره.

وثمة ملاحظة أخرى: 95% من التشغيلات تراجع إطاراتها الخاصة، لكن الارتباط بين كثافة المراجعة والجودة النهائية شبه معدوم (ρ = −0.07). فالمراجعة البصرية الذاتية وحدها لا تفيد، والمهم هو ما يفعله الوكيل بما رآه.

إلى أي حد يمكن الوثوق بالقضاة

يرتّب قضاة VLM الأنظمة بالطريقة نفسها التي يرتّبها بها البشر (ρ = 0.98). لكنهم على مستوى أزواج المقاطع المنفردة لا يتفقون مع البشر إلا في 73% من الحالات. فالتقييم الآلي يصلح لمقارنة الوكلاء بعضهم ببعض، ولا يناسب إصدار حكم على فيديو بعينه.

ماذا نفعل بذلك

يمنح الاختبار الفرق التي تبني وكلاء للفيديو التعليمي أو التحليلي أو التسويقي مرجعًا واضحًا. فدقة المعادلات والمخططات ومزامنة الصوت قابلة للتحقيق بالكود، أما الانتشار (diffusion) فما يزال ضعيفًا هنا. ونقطة الإخفاق الرئيسية هي إدارة الوقت: ينبغي تخصيص ميزانية للتصيير مسبقًا، وبدء تصيير تجريبي مبكرًا، والاحتفاظ بمسار احتياطي للتسليم. وعند اختيار نموذج لمثل هذا السيناريو، يُستحسن النظر إلى نسبة الفيديوهات المسلَّمة، لا إلى جودة أفضل المقاطع فقط. أما في التقييمات الخاصة، فمن المعقول استخدام قضاة VLM لمقارنة الأنظمة، وترك التحقق من المقاطع المحددة للبشر. المشروع والبيانات متاحان على الصفحة vibevideobench.github.io.