RTAformer يعلّم النموذج رصد تغيّر العلاقات بين الكائنات في الفيديو

تصطدم النماذج التي تصف الفيديو في صورة مخطط «فاعل — علاقة — مفعول به» بمشكلة لا يحلّها التوسيط المباشر عبر الإطارات. وقد قدّم فريق من الباحثين RTAformer، وهو محوّل أحادي المرحلة لتوليد مخططات المشهد في الفيديو (Video Scene Graph Generation, VidSGG)، يتولى نمذجة ثبات الكائنات والتغيّرات الحادة في العلاقات بينها كلاً على حدة. على معيار Action Genome يتفوق النموذج على الطرق الحالية في Recall وmean Recall، وتبدو أفضليته أوضح في الإطارات التي تتغير فيها العلاقة فعلاً منها في بقية الإطارات.

لماذا يعلق النموذج في الإطار السابق

تتعامل VidSGG مع مهمتين في آن واحد. المهمة الأولى أن يدرك النموذج أن الشخص الظاهر في الإطار هو نفسه الشخص الذي ظهر قبل خمسة إطارات، أي الكائن ذاته. والثانية أن يرصد ما يفعله هذا الشخص بالأشياء المحيطة به: يمسك فنجانًا، ثم يضعه على الطاولة، ثم يتركه. تتطلب الأولى الثبات، وتتطلب الثانية حساسية للتغيّر.

تجمع معظم المقاربات الحديثة المعلومات عبر الإطارات للاستفادة من السياق الزمني. يساعد ذلك على تخفيف الضوضاء وتعويض حالات الكشف الفائتة. لكن لهذا التمهيد أثرًا جانبيًا: التركيز على الاتساق يطمس اللحظات التي يتغير فيها شيء ما. فيواصل النموذج إخراج المسند السابق مع أن الرابط بين الكائنات صار مختلفًا. يسمي المؤلفون هذا الخطأ relational semantic inertia، أي الجمود الدلالي العلائقي.

في الفيديوهات الواقعية تكون الانتقالات أكثر النقاط إفادة. أمسك الشخص بشيء، أو فتح بابًا، أو جلس على كرسي. وما يهم المهام اللاحقة (downstream) ليس عشرات الإطارات المتشابهة، بل لحظة تغيّر العلاقة.

فرق الاستعلامات بدل التوسيط

يفصل RTAformer بين مسارين للمعلومات. تبقى هوية الكيانات مكوّنًا «بطيئًا»: يجب أن يُتعرَّف على الكائن من إطار إلى آخر. أما ديناميكا العلاقات فتصبح مكوّنًا «سريعًا»، ولا يعتمد النموذج فيها على السياق العام، بل على الفرق.

على وجه التحديد، يأخذ الإطار استعلامات العلاقات (relation queries) في الإطارات المتجاورة، ويحسب الفرق بينها ثم يعايره. يُضاف هذا الفرق المعاير إلى العملية ويوجّه تحديث المسند. إذا كانت الاستعلامات متقاربة تقريبًا، يبقى المسند كما هو. وإذا كان الاختلاف جوهريًا، يتلقى النموذج إشارة صريحة بأن وقت التبديل قد حان.

يعمل المكوّن الثاني أثناء التدريب فقط. إنه المواءمة بين النسخ عبر الإطارات (cross-frame instance alignment): تُقرَّب تمثيلات الكائن نفسه في الإطارات المختلفة بعضها من بعض. بهذا يقل انجراف التمثيلات، وهو الانجراف الذي قد تتزحزح بسببه الهوية مع تغيّر العلاقة. ولهذا لا تُضعف الحساسية المعززة للانتقالات ثبات الكائنات.

النهج أحادي المرحلة: يجري اكتشاف الكائنات والتنبؤ بالعلاقات داخل نموذج واحد، لا عبر سلسلة تضم كاشفًا منفصلًا ومصنِّفًا للعلاقات. وهذا مهم في الفيديو لأن أخطاء المراحل المنفصلة تتراكم.

ماذا أظهرت التجارب

اختبر المؤلفون RTAformer على Action Genome، وهو المعيار القياسي لـ VidSGG.

• المقاييس: Recall وmean Recall، ويكتسب mean Recall أهمية خاصة مع المسندات النادرة.
• النتيجة: تحسّن في المقياسين مقارنة بالطرق الحالية.
• دراسات الاستئصال: يسهم كل مكوّن من المكوّنات المقترحة في الجودة النهائية.
• المقارنة على backbone متطابقة: المكسب في الإطارات التي تتغير فيها العلاقة أكبر منه في الإطارات التي لا تتغير فيها.

النقطة الأخيرة أهم من الأرقام العامة. فهي تبيّن أن المكسب لم ينتج عن شبكة أساسية أقوى، ولا عن الحالات السهلة التي تدوم فيها العلاقة طويلًا. فالطريقة تعالج المشكلة المعلنة فعلاً، ولا تكتفي برفع متوسط التقييم.

أين يفيد ذلك

تلزم مخططات المشهد حيث لا تكفي النظام قائمة بالكائنات الموجودة في الإطار. فالروبوت المساعد لا يكفيه أن يرى الفنجان واليد، بل عليه أيضًا أن يميّز «أمسك» من «ترك». وتحتاج أنظمة تحليلات الفيديو والبحث في الفيديو وتوليد الأوصاف إلى أحداث، لا إلى لقطات ثابتة. وقد يكون المخطط المنظَّم تمثيلًا وسيطًا مضغوطًا للنماذج متعددة الوسائط التي يُقدَّم لها الفيديو.

والخلاصة العملية لمن يبني أنظمة كهذه: عند معالجة الفيديو ينبغي تقييم النموذج على الإطارات الانتقالية بشكل منفصل. فمتوسط Recall على المجموعة كاملة يُخفي الجمود بسهولة، لأن معظم الإطارات «هادئة». وتنفيذ فكرة الفرق بين الاستعلامات المتجاورة رخيص نسبيًا، ومن الناحية النظرية يمكن نقلها إلى مهام أخرى تتغير فيها الحالة بقفزات: التعرف على الأفعال، وتتبع التفاعلات، وتحليل المناورات في الروبوتات. أما مدى قابليتها للتوسع خارج Action Genome فستكشفه اختبارات مستقلة على مجموعات بيانات أخرى.