اختبار ستروب يكشف: نماذج VLM تقرأ النص في الصورة أكثر مما ترى اللون

نشرت مجموعة من الباحثين مسودة بحثية على arXiv برقم 2610.12650 حول كيفية اختيار نماذج الرؤية واللغة (vision-language) بين سمتين متكافئتين في الصورة نفسها. استخدم الباحثون اختبار ستروب، حيث تُطبع الكلمة «RED» باللون الأزرق ويُطلب من المختبَر ذكر اللون. جاءت النتيجة متفقة في الاتجاه لدى نماذج VLM التبايُنية والتوليدية: عند التعارض، تجيب النماذج في الغالب بالكلمة المكتوبة لا باللون. كما تحقق المؤلفون من السبب، فوجدوا أن النص يُرمَّز في فضاء التضمينات (embeddings) بقوة أكبر ويكون أسهل فصلًا من اللون.

كيف صُمّمت التجربة

تسأل اختبارات VLM المعيارية عمّا تعرضه الصورة. أما هنا فالمهمة أكثر مكرًا: في الصورة سمتان، وكلتاهما وثيقة الصلة بالسؤال، لكنهما تشيران إلى اتجاهين مختلفين. هذه هي محفزات ستروب المتعارضة: الكلمة تدل على لون، لكنها مطبوعة بلون آخر. فإذا التزم النموذج فعلًا بتعليمة «اذكر اللون»، فلا ينبغي أن تؤثر الكلمة في إجابته.

نقل المؤلفون هذا النموذج إلى صيغة اختبار معياري (benchmark) وشغّلوا عليه عدة نماذج من عائلتين:

• نماذج تبايُنية على نمط CLIP، تُطابَق فيها الصورة والنص في فضاء مشترك؛
• نماذج VLM توليدية تجيب عن السؤال بنص حر؛
• شرط التعارض: النص واللون غير متطابقين، والمهمة تتطلب ذكر اللون؛
• مقياس السلوك: نسبة الإجابات المستندة إلى النص مقابل نسبة الإجابات المستندة إلى اللون.

لا تتضمن الخلاصة (abstract) أي قيم رقمية، لذا يلزم الرجوع إلى النص الكامل للدراسة لمعرفة حجم الانحياز. أما الاستنتاج النوعي فصيغ بوضوح: الميل إلى النص ثابت across models، أي عبر النماذج، ولا يرتبط بمعمارية بعينها.

من أين ينشأ الانحياز

يبدأ الجزء الأكثر إثارة بعد الجانب السلوكي. فقد «فتح» المؤلفون «الصندوق الأسود» وقارنوا كيفية تمثيل السمات النصية وسمات اللون في التضمينات. تبيّن أن الإشارات النصية أقوى تعبيرًا وأسهل فصلًا، بينما يبدو اللون في الفضاء نفسه أضعف وأكثر تشوشًا.

يعمل هذا اللاتناظر بوصفه مؤشرًا تنبؤيًا. فحين حاول الباحثون توجيه النموذج عبر تدخل في فضاء التمثيلات، كان دفعه نحو اتجاهات النص أسهل بكثير من دفعه نحو اتجاهات اللون. أي أن الفرق لا يظهر في الإجابات فقط، بل أيضًا في مدى قابلية النموذج للتأثر بالتدخل.

يمكن تفسير ذلك بأن النماذج تدرَّب على كميات ضخمة من أزواج «صورة-وصف»، حيث تحمل النصوص المكتوبة على الصور معنى في كثير من الأحيان. لكن هذه فرضية وليست استنتاجًا من الدراسة: فالمؤلفون يبيّنون موضع الانحياز في التمثيلات، ولا يثبتون أي بيانات أنتجته. وتأتي الخلاصة الرئيسية حذرة: السمات المختلفة داخل الصورة الواحدة تتفاوت في بروزها بالنسبة إلى النموذج، أو ما يُعرف بـ saliency.

ما الذي ينبغي اختباره في خط الإنتاج لديك

في المنتجات التي تقرأ فيها نماذج VLM مستندات أو لقطات شاشة أو عبوات أو لافتات طرق أو واجهات، يمثل هذا خطرًا عمليًا. فإذا وُجد نص في الصورة وكان السؤال عن خاصية بصرية للجسم، فقد يجيب النموذج بما هو مكتوب. ومثال كلاسيكي على ذلك ملصق يحمل اسم لون على جسم بلون مختلف.

ينبغي للمطورين القيام بعدة أمور:

• إضافة حالات متعارضة إلى مجموعة الاختبار، يناقض فيها النص المكتوب في الصورة السمة البصرية؛
• عدم اعتبار صياغة الموجِّه «أجب وفق اللون» ضمانة، لأن الانحياز كامن في التمثيلات؛
• في المهام الحساسة، مثل مراقبة الجودة أو الأمان، فصل التعرف الضوئي على الحروف (OCR) عن التحليل البصري في خطوتين مستقلتين؛
• أخذ ذلك في الحسبان عند تقييم المقاومة لهجمات حقن النص عبر الصور: فالنص المكتوب في الصورة، بحسب النتائج، يؤثر في النموذج أكثر مما يُتوقع.

لا تقدّم الدراسة علاجًا جاهزًا، ولا تزعم أن المشكلة ستزول مع توسيع النماذج. لكنها تقدّم اختبارًا تشخيصيًا بسيطًا وقابلًا للتكرار، مستعارًا من علم النفس المعرفي. ويمكن تشغيله على أي نموذج VLM جديد قبل دخوله مرحلة الإنتاج.