RoboJudge-9B يقيّم فيديوهات الروبوتات بدقة أعلى من Gemini: ارتباط مع البشر 0.719

يحاول الباحثون جعل نماذج توليد الفيديو أساسًا لـ«النماذج العالمية» الخاصة بالروبوتات. تبدأ الشبكة العصبية برسم ما سيبدو عليه تنفيذ المهمة، ثم يمكن الاعتماد على هذه الصورة لتخطيط الأفعال أو تدريب السياسات (policies). لا تعمل هذه الفكرة إلا بشرطين: أن يكون المقطع صحيحًا فيزيائيًا، وأن تتوافق الأفعال فيه مع التعليمات. والتحقق من ذلك يدويًا على نطاق واسع مستحيل، ولهذا يُسند دور الحَكَم أكثر فأكثر إلى نماذج LLM متعددة الوسائط. قرر باحثون من الجامعة الصينية في هونغ كونغ معرفة مدى اتفاق هؤلاء الحكّام مع البشر أصلًا، وانتهوا إلى بناء مجموعة أدوات متكاملة باسم RoboJudge. وأفضل نموذج في المجموعة، RoboJudge-9B، يحقق ارتباط بيرسون قدره 0.719 مع التقييمات البشرية.

أين يخطئ الحكّام العامّون

يقوم المشروع على RoboJudge-Bench. يضم هذا المقياس 800 فيديو موسومة بشريًا من 8 مجموعات بيانات مصدرية، ولّدتها 10 نماذج فيديو مختلفة. وتغطي المقاطع ثلاثة أنواع من «الأجسام»: الماسكات البسيطة (grippers)، والأيدي البشرية، والأيدي الماهرة متعددة الأصابع (dexterous hands). ويُقيَّم كل مقطع وفق محورين: Physical Adherence (الالتزام بالفيزياء) وInstruction Alignment (الامتثال للتعليمات).

جاءت النتائج متفاوتة. فنماذج MLLM العامة أضعف بوضوح في اتفاقها مع البشر في ما يخص الفيزياء تحديدًا: قد يخترق جسمٌ ما الأصابع أو يغيّر شكله، ولا يلاحظ النموذج الحَكَم ذلك. أما حكّام الفيديو المتخصصون المدرَّبون على الاستدلال الفيزيائي العام فينتقل أداؤهم إلى المشاهد الروبوتية بشكل غير مستقر. والخلاصة أن وجود حَكَم «فيزيائي» جاهز مبني على الفيديو العادي لا يضمن فهمه لتلامس المناول (manipulator) مع الأجسام.

كيف نشأ حَكَم بحجم 9 مليارات معامل من المقياس

ردًّا على ذلك، جمع المؤلفون مجموعة بيانات تدريب باسم RoboJudge-Train: 12 ألف فيديو و25 ألف تقييم تحقق منها بشر. وأضافوا إلى التقييمات تبريرات كُتبت بمساعدة النماذج (model-assisted rationales)، كي يتعلم الحَكَم شرح حكمه لا مجرد إخراج رقم. وعلى هذه البيانات دُرّب نموذج MLLM بحجم 9 مليارات معامل على مرحلتين: التعلم الخاضع للإشراف (supervised learning) أولًا، ثم التعلم المعزز (reinforcement learning). وهكذا نشأ RoboJudge-9B.

الرقم الأهم: من بين جميع الحكّام الذين اختُبروا على RoboJudge-Bench، يحقق هذا النموذج أعلى اتفاق إجمالي مع البشر. فارتباط بيرسون يساوي 0.719، أي أعلى بمقدار 0.089 من Gemini-3.7-Flash، أقوى خط أساس (baseline) مغلق المصدر في هذه المقارنة. ويؤكد المؤلفون أن هذا الفارق ذو دلالة إحصائية. ومن هذه الأرقام يتبين أن ارتباط Gemini-3.7-Flash يبلغ نحو 0.63. وقد تفوّق نموذج صغير متخصص على منافس مغلق في ميدانه نفسه.

وأفاد التدريب على RoboJudge-Train كذلك في اختبارات خارجية، منها VideoPhy2 وPhysion-Eval. أي أن الحَكَم لم يحفظ ببساطة خصوصيات مقياس واحد.

ما الذي تتضمنه المجموعة

• RoboJudge-Bench — مقياس لتقييم نماذج MLLM بوصفها حكّامًا لفيديوهات الذكاء المجسَّد (embodied): 800 مقطع موسوم بشريًا، و8 مجموعات بيانات مصدرية، و10 مولّدات فيديو، وثلاثة أنواع من المناولات (ماسكات، وأيدٍ بشرية، وأيدٍ ماهرة).
• Physical Adherence — المحور الأول للتقييم: مدى معقولية المقطع فيزيائيًا.
• Instruction Alignment — المحور الثاني: هل يؤدي الفعل في المقطع التعليمة المحددة.
• RoboJudge-Train — مجموعة بيانات التدريب: 12K فيديو، و25K تقييم تحقق منه بشر، وتبريرات مولَّدة بمساعدة النماذج.
• RoboJudge-9B — نموذج MLLM بحجم 9B معامل، دُرّب عبر SFT وRL؛ ارتباط Pearson مع تقييمات البشر 0.719، بزيادة 0.089 على Gemini-3.7-Flash.
• VideoPhy2 وPhysion-Eval — مقياسان خارجيان أعطى التدريب على RoboJudge-Train تحسنًا فيهما أيضًا.

استخدم المؤلفون RoboJudge-9B فعلًا مقيِّمًا لترتيب مولّدات الفيديو وفق المحورين. والشيفرة منشورة على GitHub ضمن منظمة Sphere-AI-Lab، وتتوافر صفحة للمشروع على spherelab.ai/RoboJudge. وعمل على المشروع كلٌّ من Siyuan Ma وYu Qi وCheng Ye وRuotian Peng وXinyi Xu وZitiantao Lin وZedong Cai وYijian Huang وWeiyang Liu وSiyuan Wang وYandong Wen.

لمن يفيد حَكَم الفيديو الروبوتي

تحصل الفرق التي تدرّب نماذج الفيديو لتكون محاكيات للروبوتات على وسيلة منخفضة التكلفة لاستبعاد المقاطع المعيبة ومقارنة نقاط الحفظ (checkpoints) دون جيش من واضعي الوسوم. ويمكن تشغيل نموذج بحجم 9B معامل محليًا بدلًا من دفع ثمن API لنموذج مغلق عند كل تقييم. والنتيجة مفيدة أيضًا للتعلم المعزز: فالحَكَم الآلي الموثوق يمكن أن يعمل إشارةَ مكافأة عند التدريب الإضافي للمولّدات. لكن الحذر يبقى ضروريًا. فارتباط 0.719 أعلى بوضوح من المنافسين، لكنه ليس تطابقًا مع الإنسان. وفي المهام الحرجة، مثل تدريب السياسات على بيانات اصطناعية لمناولات حقيقية، يظل الفحص البشري الانتقائي إلزاميًا.