SLVR على Qwen2.5-VL-7B يرفع نتيجة BLINK Relation بمقدار 14,2 نقطة دون CoT نصي

أظهر مؤلفو SLVR كيف يمكن دفع نموذج متعدد الوسائط إلى الاعتماد على الصورة بدل تخمين الإجابة من نص السؤال، دون أن يدفع ثمن ذلك سلسلة استدلال طويلة في المخرجات. على أساس Qwen2.5-VL-7B حقق الأسلوب +9,4 نقطة على MMVP و+14,2 على BLINK Relation. كما سُجّلت تحسينات على V* وMathVista وChartQA. ولا يولّد النموذج استدلالًا نصيًا عند الإجابة.

أربع مراحل كامنة بدل CoT طويل

المشكلة معروفة: كثيرًا ما تجيب نماذج LLM متعددة الوسائط عن الأسئلة البصرية استنادًا إلى أولويات لغوية (priors)، لا إلى ما هو مرسوم فعلًا في الصورة. يعالج chain-of-thought النصي جزءًا من هذه المشكلة، إذ يقسّم النموذج السؤال إلى خطوات للبحث عن الأدلة. لكن هذه الخطوات تُولَّد بصورة autoregressive، وتزداد كلفة الاستدلال (inference) مع طول السلسلة. أما الاستدلال الكامن فهو أرخص لأنه لا يتضمن نصًا صريحًا. غير أن ما تشفّره الحالات الوسيطة يبقى غير واضح، ولا يمكن تخصيص إشارة تدريب مستقلة فيه للتخطيط أو الربط بالمنطقة أو اختيار الأدلة.

يحاول SLVR الجمع بين أفضل ما في المقاربتين. يجري التدريب على مرحلتين. في المرحلة الأولى يُدرَّب النموذج على النظر إلى الصورة: تُحجب من النص المقاطع التي تكشف الإجابة، وتُقابَل الإجابة الصحيحة بمشتتات (distractors) تبدو معقولة بصريًا. بعد ذلك يُفكَّك الاستدلال إلى مراحل كامنة مصنّفة: التخطيط، والربط (grounding)، واختيار الأدلة البصرية، والدمج. تحصل كل مرحلة على إشرافها الخاص: الخطط، والإطارات (boxes)، والأدلة البصرية، والتعليلات النهائية على التوالي. وبذلك تُمنح الخطوات الكامنة بنية وظيفية محددة، ولا يُطلب توليد سلسلة نصية أثناء الاستدلال.

ماذا أظهرت الاختبارات المرجعية

اختبر المؤلفون الأسلوب على نموذج أساسي واحد. النتائج المعلنة:

• النموذج الأساسي: Qwen2.5-VL-7B؛
• MMVP: +9,4 نقطة بالقيمة المطلقة؛
• BLINK Relation: +14,2 نقطة بالقيمة المطلقة؛
• V* وMathVista وChartQA: تحسينات دون ذكر مقدارها في الملخص؛
• الاستدلال (inference): دون فك ترميز CoT نصي.

ثمة عدة تحفظات. لا يتضمن الملخص (abstract) قيمًا مطلقة، ولا يوضح مع ماذا جرت المقارنة: مع النموذج الأصلي، أم مع الضبط الدقيق المعتاد، أم مع نسخة تعتمد CoT نصيًا. وهذا يؤثر كثيرًا في تفسير النتائج. كما أن حجم MMVP صغير، لذا قد يكون التحسن عليه مشوبًا بالضوضاء. وليست هناك بيانات عن التوفير الفعلي في الاستدلال: يزعم الملخص غياب كلفة إضافية لفك الترميز، لكن لا توجد قياسات للزمن أو للرموز (tokens). العمل حتى الآن نسخة أولية (preprint) على arXiv، ولا يوجد تحقق مستقل. أما صفحة المشروع فقد نُشرت.

لمن يفيد هذا الأسلوب

تهمّ الفكرة قبل كل شيء الفرق التي تضبط نماذج VLM مفتوحة لمهام تتطلب تحليلًا بصريًا دقيقًا: قراءة الرسوم البيانية، والعلاقات المكانية، والبحث عن أجسام صغيرة في الصورة. وحيث يكون CoT النصي مكلفًا جدًا من ناحية زمن الاستجابة، يبدو النهج الكامن المنظَّم بديلًا معقولًا.

ويكمن الثمن في البيانات. يحتاج التدريب إلى خطط وإطارات وأدلة بصرية وتعليلات، أي إلى توسيم أغنى بكثير من أزواج «صورة — إجابة» المعتادة. وقبل نقل الأسلوب إلى بيئة الإنتاج، ينبغي تقدير حجم هذا التوسيم الذي يمكن الحصول عليه آليًا، والتحقق من التحسن على بيانات خاصة بكم لا على الاختبارات المرجعية العامة فقط. وهناك مسألة منفصلة هي تصحيح الأخطاء (debugging). من الناحية النظرية، يسهل تحليل المراحل المصنّفة أكثر من الحالات الخفية غير المنظمة، لكن الملخص لا يتضمن ما يؤكد ذلك. وهذا ما ينبغي التحقق منه في الورقة الكاملة وفي الشيفرة.