رأس خطي فوق Qwen3-VL يتفوق على GPT-4o في تقييم الإجابات دون تسميات بشرية

أظهر باحثون أن نموذج المكافأة متعدد الوسائط لا يحتاج إلى مُعلِّقين بشريين. يتعلم رأس خطي مثبّت على طبقة وسيطة من Qwen3-VL المجمّد أن يفضّل التعليق النصي المأخوذ من الويب للصورة على نسخته المشوَّهة، ولا شيء غير ذلك. وعلى نموذج 32B تضاهي الوصفة نفسها GPT-4o أو تتفوق عليه في ثلاثة اختبارات معيارية دون إعادة ضبط، وتتقدم عليه في VL-RewardBench بمقدار 6,6 نقطة. عدد المعاملات المدرَّبة بضعة آلاف فقط، والحوسبة المطلوبة أقل بنحو ألف مرة مما يتطلبه الضبط الدقيق.

كيف تعمل الوصفة

عادةً تُدرَّب نماذج المكافأة الخاصة بالرؤية واللغة على أزواج تفضيل مُعلَّمة. هذا النوع من التسمية مكلف، ويختلف المُعلِّقون في تقييماتهم، ثم تُقاس الجودة بالدقة على اختبار معياري. يُخرج المؤلفون الإنسان من عملية التدريب. يأخذون تعليقًا عاديًا على صورة من الإنترنت، ويشوّهونه (لم تُكشف تفاصيل أداة أخذ العينات في الملخص)، ثم يدرّبون الرأس على تفضيل النص الأصلي. تلزم البيانات المُعلَّمة في موضع واحد فقط: لاختيار الطبقة التي تُستخرج منها الخصائص.

وقد تبيّن أن هذا الاختيار هو العامل الحاسم. فالطبقة الوسيطة تمنح 5,8 نقطة أكثر من الطبقة الأخيرة. ويبدو أن الطبقات الأخيرة مضبوطة أكثر من اللازم على التنبؤ بالرمز التالي، في حين تحتفظ منتصف الشبكة بصورة أفضل بالفروق بين الوصف الصحيح للصورة والوصف الخاطئ.

ما الذي أظهرته الأرقام

أبرز نتائج الورقة:

• عند 32B يساوي النموذج GPT-4o أو يتفوق عليه في ثلاثة اختبارات معيارية؛
• في VL-RewardBench يبلغ التقدم 6,6 نقطة؛
• يُدرَّب بضعة آلاف من المعاملات فقط، وتبلغ التكلفة نحو 1/1000 من تكلفة الضبط الدقيق؛
• عند تساوي ميزانية الأزواج، تمنح التشويهات الرأس المجمّد 3–5 نقاط أكثر مما تمنحه أزواج RLAIF-V المنتقاة؛
• تنتقل الوصفة بين الاختبارات المعيارية دون إعادة ضبط.

ولأن الشبكة الأساسية (backbone) مجمّدة، فإن مسألة تدريب الرأس محدبة. لا تعتمد النتيجة على بداية موفقة أو على ضجيج عشوائي في التحسين، ومن الأسهل إعادة إنتاجها.

الاختبار المعياري لا يخبرك بما قيّمته فعلًا

أكثر أجزاء الورقة إثارة للاهتمام يتعلق بالاختبارات المعيارية نفسها. فالمكافأة تحددها أداة أخذ عينات التشويهات، لا الترتيب في الجدول. درّب المؤلفون رأسين على نصفين غير متقاطعين من التشويهات نفسها. وحقق الرأسان النتيجة نفسها على الاختبار المعياري. أما في تقييم الهلوسة فقد اختلفا بمقدار 6,4 نقطة. أي أن نموذجين برقم واحد في لوحة الصدارة يتصرفان بشكل مختلف تمامًا في الموضع الذي يهم المنتج.

وثمة مثال معاكس أيضًا. أُعيد تدريب الرأس على مرشحين من سياسة النموذج نفسه، وُسمت بواسطة مُتحقِّق. انخفضت الهلوسة في التعليقات وفق CHAIR بمقدار 5,1 نقطة، وارتفعت نسبة التوليدات الناجحة للصور بمقدار 5,4. ومع ذلك أظهر هذا الرأس نتائج أسوأ في جميع اختبارات المكافأة المعيارية. فقد رافق التحسنَ في المهمة المستهدفة تراجعٌ في الجدول، لأن الجدول كان يقيس شيئًا آخر.

الخلاصة العملية

على الفريق الذي ينفذ RLHF أو RLAIF لنموذج متعدد الوسائط أن يجرّب أولًا الخيار الرخيص: مجسًّا خطيًا (linear probe) على الطبقات الوسطى لنموذج مجمّد، مع أزواج «الأصل — التشويه» المولّدة تلقائيًا. تكلفته زهيدة مقارنة بالضبط الدقيق، ويوفر خط أساس قويًا دون توظيف مُعلِّقين. ويُستحسن اختيار الطبقة على عينة صغيرة مُعلَّمة، فهو أكثر المعاملات حساسية.

الخلاصة الثانية تخص التقييم. لا يكشف اختبار معياري واحد أي سلوك تحمله المكافأة في داخلها. وإذا كان نموذج المكافأة مطلوبًا لمكافحة الهلوسة، فينبغي فحصه على الهلوسة بشكل منفصل، وضبطه عند الإمكان على مرشحين من سياسة النموذج نفسه مع مُتحقِّق. تنبيه: جميع الأرقام مأخوذة من نسخة أولية على arXiv، ولا يوجد تحقق مستقل منها بعد، وتفاصيل أداة أخذ عينات التشويهات يُستحسن الرجوع فيها إلى النص الكامل للورقة.