ضبط Qwen3-1.7B على فيديو خام بلا تعليقات نصية: +5.1 نقطة في اختبارات الصور

أخذ الباحثون في الورقة البحثية المنشورة على arXiv برقم 2610.11019 نموذج Qwen3-1.7B، ومرّروه بمرحلة mid-training على فيديو خام من YT-Temporal-1B، ثم ضبطوه بالطريقة نفسها على أزواج «صورة-نص». وتفوّق النموذج الذي مرّ بمرحلة الفيديو بمتوسط 2.9 نقطة في أربعة اختبارات فيديو، وبمتوسط 5.1 نقطة في عشرة اختبارات صور. ولم تتراجع المهارات النصية: 48.9 مقابل 48.0 في 14 اختبارًا. ولم تكن هناك في هذه المرحلة أي تعليقات نصية ولا دالة خسارة نصية على الإطلاق.

كيف صُمّمت التجربة

تتعلم نماذج LLM متعددة الوسائط عادةً من أزواج «صورة-نص» أو من فيديو مُوسَّم. أما الفيديو الخام من الويب فنادرًا ما يُستخدم في الضبط اللاحق لنموذج لغوي جاهز. وقد اختبر المؤلفون إمكانية تغيير ذلك.

تُرمَّز الإطارات إلى رموز بصرية متصلة، ويتعلم النموذج اللغوي التنبؤ بالرمز البصري التالي. إنه المبدأ نفسه في next-token prediction، لكن الإطارات تحلّ فيه محل الكلمات. ولا يوجد في هذه المرحلة أي جزء نصي.

وقد أُجري الضبط بعناية. فقد طُبّقت خطوة image-text instruction tuning نفسها على النموذج الذي مرّ بمرحلة video mid-training وعلى النموذج الذي لم يمرّ بها. والفارق الوحيد بينهما هو المرحلة الوسيطة على الفيديو. لذلك يمكن نسبة المكسب إليها تحديدًا، لا إلى اختلاف في الضبط النهائي.

ماذا تُظهر الأرقام

النتائج الرئيسية مقارنةً بالنموذج الذي لم يمرّ بمرحلة mid-training:

• اختبارات الفيديو: +2.9 نقطة بالمتوسط في أربعة اختبارات؛
• اختبارات الصور: +5.1 نقطة بالمتوسط في عشرة اختبارات، تشمل مهام الإدراك والمستندات والرسوم البيانية؛
• الاختبارات النصية: 48.9 مقابل 48.0 بالمتوسط في 14 اختبارًا؛
• النموذج الأساسي: Qwen3-1.7B، والبيانات: مقاطع من YT-Temporal-1B.

جاء المكسب في الصور أكبر بوضوح من المكسب في الفيديو نفسه. والأكثر إثارة للاهتمام أنه يشمل المستندات والرسوم البيانية، أي مهامّ بعيدة عن مقاطع YouTube. ويبدو أن التنبؤ بالرمز البصري التالي يعلّم النموذج تمثيلات بصرية عامة تنتقل لاحقًا إلى الصور الثابتة. ولا يصوغ المؤلفون هذا التفسير صراحةً في الملخص، وهو استنتاجنا من الأرقام.

وثمة نتيجة أخرى تخص ديناميكية التدريب. تظهر التحسّنات في الصور والفيديو خلال أول 30% من التدريب، ثم تستقر وتتذبذب بأقل من 0.5 نقطة. ويبدو من هذه المنحنيات أن تشغيلًا أطول على بيانات إضافية لا يضيف شيئًا يُذكر.

وأخيرًا، قارن المؤلفون نهجهم بالتنبؤ بالتعليقات النصية. ولم يتفوق هذا الأخير على التنبؤ بالرمز البصري التالي. وهذا يعني أن mid-training على الفيديو يمكن أن يبقى self-supervised بالكامل، دون كلفة حسابية لوصف المقاطع تلقائيًا، ودون الضجيج الذي تُدخله التعليقات المولَّدة.

لمن تفيد هذه النتائج

بالنسبة إلى الفرق التي تبني نماذجها متعددة الوسائط، الخلاصة عملية. يمكن استخدام كميات ضخمة من الفيديو غير الموسوم كمرحلة وسيطة منخفضة الكلفة بين pretraining النصي والضبط التعليمي. ولا حاجة إلى خط إنتاج للتوسيم، ولا إلى نموذج منفصل لوصف المقاطع. ويشير الاستقرار المبكر إلى أن ميزانية هذه المرحلة يمكن تقليصها.

لكن لا بد حاليًا من التنبّه إلى القيود. فهذه ورقة preprint، واختُبرت على نموذج صغير واحد بحجم 1.7 مليار معامل وعلى مجموعة بيانات فيديو واحدة. والفارق البالغ 0.9 نقطة في الاختبارات النصية يدل على غياب التدهور أكثر مما يدل على تحسّن. أما هل يتسع نطاق التأثير ليشمل نماذج أكبر ومصادر فيديو أخرى، فلا يتبيّن من الملخص. وهذا ما ينبغي التحقق منه في الخطوة التالية.