نماذج الفيديو واللغة تخطئ في تمييز مناورات السيارات: LoRA والمجسّات تعالج الخلل

تُقدَّم نماذج الفيديو واللغة بشكل متزايد على أنها «فاهمة» شاملة للفيديو. واختبر مؤلفو ورقة «Mind the Temporal Gap»، التي نُشرت على arXiv في قسم cs.CV بتاريخ 12 أكتوبر 2026، هذا الادعاء على مهمة يكلّف فيها الخطأ ثمنًا باهظًا: تحديد فعل السيارة من فيديو للطريق. وقارنوا أربع استراتيجيات prompting (القياسية والبصرية وfew-shot وchain-of-thought) بطريقتين لتحسين النموذج: الضبط الدقيق الخفيف عبر LoRA، والمجسّات الخطية (linear probes) على الخصائص الوسيطة. أظهر الـprompting نتيجة غير مستقرة، بينما أعاد التحسين جودة قوية.

ما الذي فحصوه تحديدًا

صيغة المهمة ضيقة عن قصد. هي مهام ego-motion مضبوطة: من المقطع يجب فهم ما تفعله السيارة التي صُوِّر المشهد منها. هل تسير مستقيمة، أم تنعطف، أم تغيّر المسار، أم تكبح. لا تتطلب هذه الأسئلة معرفة عامة بالعالم. فالإجابة تتوقف على كيفية تغيّر الصورة من إطار إلى آخر. لذلك تعزل هذه المهام الفهم الزمني تحديدًا، لا القدرة على التعرف على الأشياء في إطار منفرد.

واختيار المجال مهم أيضًا. فالقيادة من السيناريوهات الحرجة للسلامة (safety-critical)، وعبارة «جيد في المتوسط» لا تصلح فيها. والنموذج الذي يخلط باستمرار بين مناورتين يمثّل خطرًا، مهما أجاد وصف مشهد الطريق بالكلمات.

ماذا أظهرت التجارب

تتلخص النتيجة الرئيسية في عدة نقاط:

• يظل الـprompting القياسي والبصري وfew-shot وchain-of-thought غير موثوق. وتتوقف الجودة بشدة على المهمة وعلى النموذج المحدد معًا.
• تحتفظ النماذج بانحيازات ثابتة تجاه فئات معينة: فهي تفضّل بصورة منهجية بعض الإجابات على غيرها.
• تستفيد النماذج الأحدث بوضوح من few-shot في مهام بعينها، لكن هذا المكسب لا ينتقل إلى بقية المهام.
• يعيد الضبط الدقيق الخفيف عبر LoRA قدرة قوية على التمييز بين الحركات.
• تعطي المجسّات البسيطة على الخصائص البصرية الوسيطة الأثر نفسه.

لا تتضمن الملخّصة (abstract) مقاييس محددة، ولذلك لا يمكن مقارنة النماذج بالأرقام إلا من الجداول الكاملة في الورقة.

أين تضيع إشارة الحركة

الأكثر إثارة هنا ليس إخفاق الـprompting، بل نجاح المجسّات. فإذا كان مصنِّف بسيط فوق الخصائص الوسيطة يميّز المناورات بثقة، فهذا يعني أن المشفّر (encoder) استخرج معلومات الحركة فعلًا. إنها موجودة داخل النموذج. لكن المسار النهائي «فيديو ← لغة» لا يستخدمها بصورة موثوقة.

ويخلص المؤلفون إلى استنتاج حذر: في مجال القيادة تظل نماذج الفيديو واللغة الحديثة غير موثوقة في الاستدلال الزمني. فهي تتصرف أقرب إلى مُعرِّفات لإطارات منفردة وعرضة للانحيازات، منها إلى نماذج زمنية متينة للعالم. ولا يساعد chain-of-thought هنا: فالاستدلال بالكلمات عن ديناميكيات لا تصل جيدًا إلى الجزء اللغوي يعني بناء الحجج على أساس هش.

ماذا ينبغي على الفرق التي تبني منتجات على هذا الأساس

الاستنتاج العملي مباشر. لا يجوز اعتبار إجابات zero-shot وfew-shot لنماذج LLM للفيديو مصدرًا موثوقًا لمعلومات المناورات، إذا كان سلوك نظام مساعدة السائق أو وسم الحلقات الخطرة أو تحليل تسجيلات الحوادث يعتمد عليها. ويُستحسن قبل الاعتماد تشغيل النموذج على اختبارات ego-motion مع التحكم في توازن الفئات. عندها تظهر الانحيازات فورًا، لا في بيئة الإنتاج.

وإذا كان النموذج قد اختير بالفعل، فأرخص طريقة هي تدريبه إضافيًا عبر LoRA على المناورات المستهدفة. أما المجسّات الخطية على الطبقات الوسيطة فمفيدة كأداة تشخيص: فهي تبيّن ما إذا كانت الإشارة المطلوبة موجودة في الخصائص، قبل إنفاق الميزانية على تدريب أثقل. وفي الوظائف الحرجة من المنطقي الجمع بين نموذج LLM للفيديو ومصادر الحركة التقليدية، مثل قياس المسافة (odometry) وبيانات المستشعرات القصورية. هذه توصيتي أنا، وليست استنتاج الورقة. لكن العمل يقدّم حجة لصالحها: فالواجهة اللغوية لا تزال أضعف من المعلومات الموجودة أصلًا في الخصائص البصرية.