SPLIT-RL يعلّم نماذج VLM الإبصار والاستدلال بشكل منفصل: +1,4–6,1 نقطة مئوية مقارنة بـ GRPO

يقترح مؤلفو الورقة البحثية arXiv:2610.10889 مخطط SPLIT-RL لما بعد التدريب الأساسي. في هذا المخطط يُعلَّم نموذج الرؤية واللغة (vision-language) أولًا استخراج المعلومات من الصورة بشكل صحيح، ثم استنتاج الإجابة منها. ارتفع متوسط الدقة بمقدار 1,4–6,1 نقطة مقارنة بـ GRPO القياسي. أُجريت القياسات على نماذج Qwen3-VL من 2B إلى 30B-A3B وعلى InternVL3.5-8B. أما في مرحلة الاستدلال (inference) فلا يتغيّر شيء: استدعاء واحد لـ chain-of-thought، كما في نموذج GRPO العادي.

مكافأة واحدة لمهارتين

يتألف الاستدلال البصري-اللغوي من جزأين: جزء بصري (VR) يستخرج فيه النموذج من الصورة التفاصيل المطلوبة بدقة، وجزء لغوي (LR) تُبنى فيه الإجابة اعتمادًا على هذه التفاصيل. وعادةً ما يمرّر التعلم المعزَّز بمكافآت قابلة للتحقق (RLVR) الجزأين عبر سلسلة استدلال واحدة، مع مكافأة على الإجابة النهائية فقط. وهكذا يحصل كل توكن في CoT على قيمة advantage نفسها على مستوى التسلسل. فإذا قرأ النموذج قيمة على الرسم البياني خطأً بينما كان منطقه سليمًا، فستُعاقَب الخطوات الصحيحة أيضًا. وإذا كان الإدراك صحيحًا والاستنتاج خاطئًا، فسيقع العقاب على الإدراك كذلك. فالإشارة لا تبيّن أي قدرة بالتحديد هي التي أخفقت.

مرحلتان وadvantage على مستوى الادعاءات

يقسّم SPLIT-RL التدريب إلى مرحلتين لا تتداخلان: VR على حدة وLR على حدة، ولكل منهما مكافأتها. ويستند هذا المنطق إلى بنية GRPO، حيث تُقارَن الـ rollouts داخل المجموعة بعضها ببعض. فإذا اختلفت الـ rollouts ضمن المرحلة الواحدة في قدرة واحدة فقط، فإن الـ group-relative advantage يعزل هذه القدرة تحديدًا. ولا يورد الملخص (annotation) صيغ المكافآت الدقيقة.

ولمرحلة الإدراك أضاف المؤلفون Claim-Level Advantage (CLA-GRPO). تُفكَّك الـ rollouts إلى ادعاءات بصرية ذرّية، مثل «في الصورة ثلاثة أجسام حمراء»، ويُحسب الـ advantage لكل ادعاء بصورة منفصلة. وتتشكّل المجموعات بحسب النوع البصري للادعاء. وبدلًا من قيمة عددية واحدة (scalar) للنص كله، يحصل النموذج على إشارة تفصيلية توضح ما رآه بشكل صحيح وما رآه بشكل خاطئ.

أهم معطيات العمل:

• الطريقة: تدريب ما بعد التدريب الأساسي على مرحلتين (VR ثم LR) بمكافأة خاصة بكل مرحلة.
• خوارزمية جديدة لمرحلة VR: CLA-GRPO مع advantage على مستوى الادعاءات البصرية.
• المكسب: +1,4–6,1 نقطة في متوسط الدقة مقارنة بـ GRPO.
• النماذج: Qwen3-VL (من 2B إلى 30B-A3B) وInternVL3.5-8B.
• الاستدلال (inference): استدعاء CoT واحد، والمعمارية وبروتوكول التقييم كما في نموذج GRPO.

التشخيص: الإدراك لا يتحرك مع GRPO

أهم ما في الورقة ليس المكسب الإجمالي، بل التشخيص. فقد قيّم المؤلفون كل قدرة على حدة باستخدام نهج oracle. والخلاصة: GRPO الذي يكافئ الإجابة فقط يترك الإدراك دون تغيير، بينما يحسّن SPLIT-RL كلًّا من VR وLR. ويعني ذلك أن جزءًا ملحوظًا مما يبدو «تقدمًا في الاستدلال» مع RLVR القياسي يعود في الواقع إلى الجزء اللغوي، في حين يبقى الجزء البصري عند مستوى النموذج الأساسي.

وتظهر القيود أيضًا. فالفارق البالغ 4,7 نقطة بين أدنى مكسب وأعلاه يعني اعتمادًا قويًا على النموذج، ولا يتيح الملخص معرفة أين يبلغ الأثر ذروته. كما يزداد التدريب تعقيدًا: فهو يتطلب مرحلتين، وآلية لتفكيك الإجابات إلى ادعاءات بصرية قابلة للتحقق. ولا يقدّر الملخص كلفة ذلك.

ما الذي ينبغي أخذه إلى العمل

على الفرق التي تعيد تدريب نماذج VLM عبر RLVR أن تضيف إلى خط الإنتاج تقييمًا منفصلًا للإدراك وللاستدلال قبل التدريب وبعده. فإذا ارتفعت الدقة في الاختبارات المعيارية بينما ظلّ الإدراك على حاله، فمن المرجّح أن النموذج صار ببساطة أفضل في استنتاج الإجابة من القراءة غير الدقيقة نفسها للصورة. وهذا مهم خصوصًا في المهام التي تتضمن مستندات ومخططات وجداول، حيث يُبطل الخطأ في قراءة رقم أي منطق سليم. وتقع التكاليف الإضافية لـ SPLIT-RL على مرحلة التدريب وحدها، ويبقى التشغيل (serving) كما هو. وقبل التبنّي ينبغي انتظار الجداول الكاملة لنتائج الاختبارات المعيارية والشيفرة المصدرية، ثم اختبار الطريقة على بياناتكم الخاصة.