RoboJev-27B يحدد نجاح الروبوت من 10 إطارات: AUROC 0.993 على SO-101

تفتقر نسبة كبيرة من مقاطع الفيديو الخاصة بالروبوتات المناولة إلى أهم عنصر: وسم يبيّن ما إذا نجح الروبوت في تحقيق ما طُلب منه. يقترح Josef Liyanjun Chen سدّ هذه الفجوة بنموذج مفتوح هو RoboJev-27B. يستقبل النموذج نص المهمة و10 إطارات من المحاولة، وإن وُجدت، الإطارات الأخيرة من الكاميرات المساعدة. ويُخرج احتمالَي النجاح والفشل. وعلى 268 حلقة محجوزة للروبوت SO-101 يحقق دقة متوازنة (balanced accuracy) بنسبة 95,2% وقيمة AUROC تبلغ 0,993.

قاضٍ بدل الوسم اليدوي

تبدو المهمة متواضعة، لكن الكثير يعتمد عليها. فمجموعات بيانات تدريب الروبوتات تتضخم بفضل مختبرات وهواة يسجلون التشغيل عن بُعد والتشغيلات المستقلة. ومن دون وسم للنجاح، لا يمكن تصفية هذه المواد تصفية موثوقة، ولا استخدامها في التعلم التعزيزي، ولا مقارنة السياسات بعضها ببعض. ودفع أجور للبشر مقابل مشاهدة مئات الآلاف من المقاطع مكلف، والدفع مقابل استدعاءات واجهات API المغلقة مكلف أيضًا.

RoboJev-27B نسخة من النموذج JEV-27B-VL. دَرّب المؤلف على الجزء اللغوي محوّل LoRA برتبة 32، وترك المشفّر البصري مجمّدًا. وبلغت بيانات التدريب 52 598 سجلًا عن الحلقات. وأُضيفت عقوبة KL لمصادر البيانات البحثية، وهي تُبقي التنبؤات أقرب إلى النموذج الأصلي على هذه البيانات تحديدًا، كي لا يُفسد الضبط الدقيق ما كان النموذج يجيده أصلًا.

ومن النتائج اللافتة القراءة المعايَرة عبر رمزين (token). فالنموذج لا يكتب استدلالًا، بل يُخرج احتمالَي «نجاح» و«فشل» في تمريرة أمامية واحدة. وهذا مهم للتقييم واسع النطاق: إذ يمكن تحريك العتبة بحسب الدقة (precision) أو الاستدعاء (recall) المطلوبين.

الأرقام ووجهها الآخر

على الروبوت نفسه الذي جرى التدريب عليه، تبدو النتائج ممتازة. أما على بيانات غريبة عنه فالصورة أكثر تواضعًا. مقاييس الورقة البحثية:

• 268 حلقة محجوزة للروبوت SO-101: دقة متوازنة 95,2%، AUROC 0,993؛
• 459 حلقة من مختبرات غير مألوفة ومن روبوتات أخرى: AUROC 0,890؛
• 135 حلقة من المجتمع بوسم لا لبس فيه: دقة 93,3%؛
• النموذج الأساسي على المجموعة الفرعية من المختبرات والروبوتات غير المألوفة بالمدخلات نفسها: AUROC 0,900.

السطر الأخير مهم. فعلى بيانات «من عالم آخر» لا تتفوق النسخة المضبوطة على النموذج الأساسي: 0,890 مقابل 0,900. أي أن كل مكسب الضبط الدقيق يظهر حيث يكون الروبوت وظروف التصوير مألوفين. وهذا خبر جيد لمختبر يصنّف تسجيلات منصته الخاصة. أما من يأمل في قاضٍ شامل لأي عتاد، فهذا سبب لاختبار النموذج على بياناته الخاصة.

ويوضح المؤلف بأمانة أيضًا ما يتعلق بالمقارنة مع نماذج VLM الرائدة عبر API. فتلك النماذج تلقّت 4 صور فقط من الكاميرا الرئيسية، بينما تلقّى RoboJev-27B إطارات أكثر وزوايا إضافية. الشروط غير متكافئة، ولذلك لا يمكن الاستنتاج من هذه المقارنة أن النموذج المفتوح 27B أفضل من العمالقة المغلقة. فجزء من الأفضلية يأتي من صيغة المدخلات نفسها.

كم يكلّف وماذا يمكن الاستفادة منه

من الناحية الاقتصادية يبدو النموذج عمليًا. فالوسيط للحلقة الواحدة 0,26 ثانية على بطاقة H100 واحدة مع المعالجة التسلسلية. وبسعر $2,69 لكل ساعة GPU، تبلغ التكلفة نحو $0,19 لكل 1000 تنبؤ. ولا تشمل هذه التكلفة معالجة الوسائط ولا الخدمة (serving)، وفي خط إنتاج حقيقي قد يصبح فك ترميز الفيديو بندًا ملحوظًا.

نشر المؤلف مع الأوزان كود الاستدلال وسجل التقييم: 20 628 تنبؤًا مجمّعة في 29 سجلًا من نوع «نموذج/بروتوكول». ويمكن تصفحها واستخدامها في قياس أداء قابل للتكرار لاكتشاف النجاح. صفحة المشروع: robo-jev.com، والنسخة التمهيدية: arXiv 2610.33718.

الخلاصة العملية للفرق التي تجمع البيانات على SO-101 أو أذرع مماثلة منخفضة التكلفة: يمكن استخدام RoboJev-27B مرشّحًا أوليًا. فهو يستبعد الإخفاقات الواضحة ويرتّب أولويات المراجعة اليدوية. أما بيانات المنصات الأخرى فالأفضل أن تُجرى أولًا على عينة صغيرة موسومة للتأكد من أن AUROC عند نحو 0,89 مقبولة. ويستحسن معايرة عتبة الاحتمال بحسب المهمة: فنقاء مجموعة التدريب أهم من اكتمالها.