NUS تعلّم النموذج البحث عمّا وصفه: gIoU ارتفع من 57,5% إلى 68,2%

قدّم باحثون من الجامعة الوطنية في سنغافورة Generalized CycleGRPO، وهي طريقة تعلّم معزَّز تتعلم فيها نموذج لغوي متعدد الوسائط، في آن واحد، وصف منطقة محددة والعثور عليها انطلاقًا من وصف نصي. وتغطي الطريقة الصيغ المكانية والزمانية والمكانية-الزمانية. وعلى GroundingSuite ترفع الطريقة gIoU الإجمالي لنموذج SAMTok من 57,5% إلى 68,2%، وعلى GRES ارتفع متوسط gIoU من 71,2% إلى 78,7%. مؤلفو العمل: Xin Zhang وHaochen Wang وBeibei Lin وZhaoxiang Zhang وRobby T. Tan وJason Li وDacheng Tao. وتُكمل الورقة عمل CycleGRPO الذي قُبل في ECCV26.

وصف يجب أن يقود إلى المنطقة نفسها

يتطلب الفهم متعدد الوسائط الدقيق مهارتين. الأولى شرح ما يوجد في منطقة معينة من الإطار أو الفيديو. والثانية إيجاد هذه المنطقة انطلاقًا من عبارة نصية. وعادةً يُدرَّب هذان الاتجاهان بشكل منفصل، ولكل منهما دوال خسارة وبيانات موسومة خاصة به.

يربط Generalized CycleGRPO بينهما في حلقة مغلقة. تُعطى النموذجَ منطقةٌ ما، فيولّد عدة أوصاف مرشحة. ثم يُعاد إدخال كل وصف إلى النموذج، ويحاول استعادة المنطقة الأصلية. ويمنح تطابق المنطقة المستعادة مع الأصلية مكافأة قابلة للتحقق على جودة الوصف. أما مكافآت التحديد المكاني المنفصلة فتحسّن التعيين العكسي، أي من النص إلى المنطقة.

لا توجد في هذا المخطط تسميات مرجعية، ولا حاجة كذلك إلى نموذج لغوي خارجي يعمل حكمًا. فالمهمة نفسها هي التي تتحقق من الوصف: إذا تعذّر العثور على المنطقة الأصلية من النص، فالوصف سيئ.

من الأقنعة على الصورة إلى الفواصل الزمنية في الفيديو

الابتكار الهندسي الرئيسي هو فضاء مناطق مشترك. ففي الصور تكون المنطقة قناعًا أو إطارًا محيطًا. وفي الفيديو تكون فاصلًا زمنيًا مع أدلة مكانية موسومة بطوابع زمنية. وتعمل الحلقة نفسها في المجالات الثلاثة: المكاني والزماني والمكاني-الزماني.

وفي الفيديو تنتج الحلقة أثرًا إضافيًا. فإذا تكرر الحدث، كأن يفتح شخص الباب نفسه عدة مرات، ينطبق الوصف الغامض على أي تكرار، ويخطئ التحديد المكاني المعتمد عليه. وتدفع المكافأة النموذج إلى كتابة أوصاف تميّز الحلقة المستهدفة عن المشابهة لها.

ولاختبار هذه الخاصية أنشأ المؤلفون DOVE (Distinctive Occurrence-level Video-caption Evaluation)، وهو معيار تبايني يتحقق منه بشر. ويقيس مدى دقة إشارة الوصف إلى وقوع محدد للحدث دون غيره.

الأرقام عبر جميع المعايير

• GroundingSuite: ارتفع gIoU الإجمالي لنموذج SAMTok من 57,5% إلى 68,2% (+10,7 نقطة مئوية).
• GRES: ارتفع متوسط gIoU من 71,2% إلى 78,7% (+7,5 نقطة مئوية).
• Charades: 51,9% tIoU مقابل 45,6% لتهيئة Qwen3-VL.
• DOVE: 33,3% Temporal Evidence Coverage مقابل 14,8% لدى Qwen3-VL، أي أكثر من الضعف.

في المهام الزمانية اعتُمد Qwen3-VL أساسًا، أما في المهام المكانية فتجري المقارنة مع SAMTok. ويظهر أكبر قفزة على DOVE، أي في القدرة على التمييز بين الأحداث المتكررة تحديدًا.

أين يمكن أن يفيد ذلك

تكمن القيمة الرئيسية للطريقة في أنها تلغي الاعتماد على التوسيم المكلف. فالتجزئة بحسب النص، وربط العبارات بالأجسام، والبحث عن لحظات في الفيديو، تتطلب عادةً أزواج «منطقة — وصف» توسَم يدويًا أو يولّدها نموذج معلّم قوي. أما الحلقة فتستخرج إشارة التعلّم من بنية المهمة نفسها.

عمليًا، يهم ذلك الفرق التي تبني تحليلات الفيديو، والبحث في تسجيلات الكاميرات، وأدوات التحرير. فهذه المجالات تحتاج إلى إيجاد المقطع والجسم بدقة انطلاقًا من عبارة مثل «المرة الثانية التي يترك فيها الساعي الطرد». وفي الروبوتات والوكلاء الذين يعملون داخل الواجهات والبيئة المادية، لا يقل ربط اللغة بمنطقة محددة أهمية.

نشر المؤلفون النماذج والكود ومعيار DOVE على صفحة المشروع، ما يتيح التحقق من النتائج على بيانات خاصة. ويقترحون فكرة اتساق الحلقة «منطقة — نص» مبدأً عامًا للتقييم الذاتي في النماذج متعددة الوسائط.