باحثون يقارنون انتباه CNN وViT وMamba بنظر الإنسان

قاس فريق من الباحثين مدى تطابق انتباه ثلاث عائلات من نماذج الرؤية مع المواضع التي ينظر إليها الإنسان فعليًا. شملت المقارنة الشبكات الالتفافية (CNN) وVision Transformer (ViT) وVision Mamba (ViM). واختبر الباحثون هذه النماذج على ثلاث فئات من المهام: التصنيف الدقيق، والتصوير الطبي، والتعرف على المشاعر. واعتمدوا بيانات تتبّع النظر معيارًا مرجعيًا، وقيّموا التشابه بثلاثة مقاييس. نُشرت الدراسة على arXiv تحت الرقم 2610.12703.

كيف قيس التطابق

لا تزال معظم أبحاث قابلية التفسير نوعية: يعرض الباحثون خرائط حرارية جذابة ويستخلصون النتائج بالنظر المجرد. أما هنا فسلك المؤلفون طريقًا مختلفًا. فهم يحوّلون خرائط الإسناد اللاحقة (post-hoc) والخرائط الحرارية للنظر إلى صيغة موحدة عبر خط معالجة معياري للتطبيع. وفي النهاية تصبح كلتا الخريطتين توزيعًا احتماليًا مكانيًا، ما يتيح مقارنتهما مباشرة. واستخدموا لكل بنية معمارية طرق XAI الخاصة بها، لأن ما يناسب الالتفاف لا ينتقل جيدًا إلى انتباه المحوّلات أو إلى كتل فضاء الحالة (state-space) في Mamba.

احتُسب التشابه بثلاثة تقييمات متكاملة:

• Jensen-Shannon similarity: مدى تطابق حامل التوزيع (support)، أي المناطق التي تحمل فيها الخريطتان كتلة أصلًا؛
• Chi-square similarity: مدى اختلاف توزيع الكتلة بين البكسلات؛
• ارتباط بيرسون: هل تتطابق البنية، أي هل ترتفع القيم وتنخفض في المواضع نفسها.

يغطي كل مقياس نقطة عمياء في المقياسين الآخرين. ولا يكفي رقم واحد للوصول إلى استنتاج منصف، وعلى هذا بالذات تقوم أكثر النتائج إثارة للاهتمام.

ثلاث طرق للنظر إلى الصورة

تُظهر CNN في المتوسط تركيزًا أكثر شمولًا. خرائط الأهمية لديها غير حادة مكانيًا، لكنها ترتبط جيدًا بالإدراك البشري في المشاهد العامة. والإنسان أيضًا يستوعب المشهد كاملًا أولًا، ولذلك تبدو الشبكات الالتفافية قريبة منه.

تعمل ViT بطريقة مختلفة. فانتباهها مجزّأ على مستوى الرقع (patches)، وكثيرًا ما يرتبط بسمات دقيقة فارقة: نسيج صغير، أو تفصيلة في الريش، أو حافة جسم. وهذه استراتيجية معقولة للتصنيف، لكنها ليست مضطرة إلى مطابقة طريقة نظر الإنسان.

أما الحالة الأقل بداهة فهي Mamba. فهي قابلة للتفسير جيدًا في المهام الطبية، لكن توزيعات الشدة لديها في الصور الطبيعية تختلف عن توزيعات البشر. ويبيّن المؤلفون أن السبب يظهر في المقاييس نفسها: تداخل يقارب الواحد بين الحوامل (supports) يقترن بارتباط خطي ضئيل إلى حد الانعدام. وببساطة، يُبرز النموذج المناطق نفسها التي يُبرزها الإنسان، لكنه يوزّع «الوزن» داخلها بشكل مختلف. فإذا نظرنا إلى التداخل وحده، بدت Mamba ممتازة. وإذا نظرنا إلى الارتباط وحده، بدت سيئة. والحقيقة أن المقياسين يصفان جانبين مختلفين من الصورة نفسها.

وفحص المؤلفون على نحو منفصل تأثير تجميد الـbackbone واستراتيجيات الدمج (ensemble) في قابلية التفسير. ولا يتضمن الملخص (annotation) سوى استنتاج عام: القرارات المعمارية وقرارات التدريب تغيّر بشكل ملحوظ مدى الاتساق بين خريطة أهمية النموذج والانتباه البشري. ولا توجد فيه أرقام محددة، وعلى القارئ أن يبحث عنها في النص الكامل للورقة.

الخلاصات العملية

بالنسبة إلى الفرق التي تبني نماذج في الطب وغيره من المجالات التي تكلّف فيها الأخطاء ثمنًا باهظًا، الخلاصة بسيطة: اختيار البنية المعمارية لا يؤثر في الدقة فحسب، بل أيضًا في مدى قابلية التفسيرات للتحقق. فالخريطة الحرارية وحدها لا تثبت شيئًا. ينبغي مطابقتها مع معيار مرجعي، والأفضل مطابقتها بعدة مقاييس في آن واحد.

قائمة تحقق عملية تنبثق من الدراسة:

• عدم الاعتماد على مقياس تشابه واحد: فتداخل المناطق والارتباط قد يعطيان إشارتين متعاكستين؛
• اختيار طريقة XAI المناسبة لكل بنية معمارية، لا نقل الطريقة نفسها إلى جميع النماذج؛
• التحقق من التفسيرات لكل مجال على حدة: فـMamba، بحسب النتائج، تسلك سلوكًا مختلفًا في الصور الطبية والصور الطبيعية؛
• إعادة حساب الاتساق من جديد بعد تجميد الـbackbone أو بناء الـensemble.

وللنهج قيد واضح: التطابق مع نظر الإنسان لا يساوي صحة القرار. فقد ينظر النموذج بطريقة مختلفة ويكون على صواب. لكن المقارنة الكمية مع تتبّع النظر، بوصفها أداة تدقيق في المجالات الخاضعة للتنظيم، تبدو أكثر موثوقية بوضوح من تقييم الخرائط «بالعين المجردة».