MisVisAgentBench: الرسوم البيانية المضلِّلة تخفض نجاح وكلاء الويب بمقدار 34 نقطة مئوية

قدّم باحثون على arXiv معيار MisVisAgentBench، وهو أول اختبار مزدوج قابل للتنفيذ يقيس كيف تؤثر التمثيلات البصرية المضلِّلة في سلوك وكلاء الويب. يضم المعيار 280 مثالًا للمهام، منظّمة في أزواج «رسم صادق – رسم مضلِّل». وعلى ثلاثة عشر وكيلًا من وكلاء vision-language، خفّض استبدال الرسم الصادق بآخر مضلِّل متوسط نسبة المهام المنجزة بنجاح بأكثر من 34 نقطة مئوية.

يفتح وكلاء الويب الصفحات بأنفسهم بوتيرة متزايدة، ويقرؤون لوحات المعلومات، وينفذون إجراءات نيابةً عن المستخدم. والرسم البياني بالنسبة إلى هذا الوكيل ليس إجابة نهائية، بل دليل وسيط تُبنى عليه الخطوة التالية: ماذا يختار، وماذا يؤكد، وأين ينقر. فإذا شوّه الرسم الصورة، تحوّل خطأ القراءة إلى إجراء ملموس. ويشدد المؤلفون على أن هذا الجانب من الموثوقية لم يُدرس تقريبًا.

ما الذي يميّز هذا المعيار عن chart QA

تنتهي الاختبارات التقليدية للأسئلة حول الرسوم البيانية عند إجابة النموذج. أما هنا فالإجابة لا تفعل سوى إطلاق سلسلة التنفيذ. كما أن الأمر لا يتعلق بـ prompt injection، إذ لا تحتوي الرسوم المضلِّلة على تعليمات خبيثة. هي ببساطة تعرض البيانات بطريقة تزيح الحكم من تلقاء نفسه، عبر اختيار المقياس أو الشكل أو مواضع التركيز.

السمة الأساسية في تصميم المعيار أن الدليل الرسومي وحده هو ما يختلف في كل زوج، بينما تبقى المهمة على حالها. وهذا يتيح عزو تراجع الأداء إلى الخداع البصري تحديدًا، لا إلى صعوبة المهمة. ولهذا أضاف المؤلفون إطارًا تشخيصيًا يفصل الإخفاقات الناجمة عن التشويه عن الصعوبة الأساسية للمهمة (مع الإحالة إلى Zhu et al., 2025).

معطيات العمل:

• 280 مثالًا للمهام في أزواج «رسم صادق – رسم مضلِّل»؛
• 13 وكيل ويب من نوع vision-language في التقييم؛
• انخفاض متوسط نسبة النجاح بأكثر من 34 نقطة مئوية عند استبدال الرسم؛
• مقاييس التنفيذ: خطوات التصفح الزائدة و«التردد» عند اتخاذ القرار؛
• المعيار قابل للتنفيذ: الوكيل يتصرف ولا يكتفي بالإجابة عن الأسئلة.

الأخطاء تسير في مسار واحد

أهم ما لوحظ ليس حجم الانخفاض، بل بنيته. فالإخفاقات تتبع في الغالب مسار الإجراءات الخاطئ المستهدف الذي صُمّم الرسم المضلِّل لدفع الوكيل إليه. الوكلاء لا ينهارون عشوائيًا، بل تقودهم قراراتهم بانتظام نحو اتجاه محدد مسبقًا.

وهذا أهم للأمان من النسبة المتوسطة. فالضجيج العشوائي يمكن تخفيف أثره جزئيًا بإعادة التشغيل أو بتصويت عدة وكلاء. أما الانحياز الموجَّه فلا يُعالج بهذه الطريقة: ستصل كل عمليات التشغيل إلى الاستنتاج الخاطئ نفسه. ومن يتحكم في تنسيق البيانات على الصفحة قد يتحكم أيضًا في أفعال الوكيل، دون أن يكتب أي أمر.

وثمة قيود أيضًا. هذه دراسة أولية (preprint)، ولا يتضح من الملخص أي أنواع التشويه دخلت في المجموعة، ولا كيف تتفاوت النماذج، ولا مدى انتقال النتائج إلى الصفحات الحقيقية. ورقم 34 نقطة مئوية متوسط على ثلاثة عشر وكيلًا، لذا قد تكون الفجوة لدى كل نظام على حدة أصغر بكثير أو أكبر بكثير.

ماذا ينبغي أن تفعل الفرق التي تبني الوكلاء

أولًا: إضافة الاختبارات المزدوجة إلى اختبارات الانحدار. إذا كان الوكيل يتخذ قراراته بالاعتماد على الرسوم البيانية، فالمطلوب مهام تكون فيها البيانات نفسها والتنسيق مختلفًا. ويصبح الفارق في الأداء بين النسخة «الصادقة» والنسخة «المضلِّلة» مقياسًا مستقلًا.

ثانيًا: عدم ترك الرسم البياني يكون الأساس الوحيد للإجراء. وحيثما تتوفر الجداول المصدرية أو API أو ملخص نصي، ينبغي للوكيل أن يتحقق بها من الاستنتاج الذي قرأه من الصورة.

ثالثًا: الإبقاء على تأكيد بشري للخطوات التي لا رجعة فيها، مثل المدفوعات أو النشر أو تغيير الإعدادات. والاعتماد على التحقق الذاتي من النموذج محفوف بالمخاطر، لأن الأخطاء موجَّهة.

رابعًا: تسجيل عدد خطوات التصفح ومؤشرات التردد. يرصد المؤلفون هذه الآثار بوصفها آثارًا في التنفيذ، ويمكن استخدام هذه الإشارات مؤشرًا على أن الوكيل واجه دليلًا بصريًا غريبًا.