AgentVQA يختبر 22 نموذج VLM في المهام الوكيلية: أفضلها لم يتجاوز 58.5%

حصل أفضل نموذج رؤية-لغة من بين 22 نموذجًا خضعت للاختبار على معيار AgentVQA الجديد على دقة بلغت 58.5% فقط. وهذا المعيار مجموعة اختبار تعمل دون اتصال، وتضم 1000 مثال صعب انتُقيت يدويًا من 23 مجموعة بيانات أصلية. ويغطي خمسة مجالات تعمل فيها نماذج VLM بصفة وكلاء: وكلاء الويب، والروبوتات، والفيديو من منظور الشخص الأول، والألعاب، والتخطيط المكاني. ويؤكد المؤلفون أن ترتيب النماذج على AgentVQA يطابق ترتيبها في التقييمات الإلكترونية المقابلة. وهذا يعني أن اختبارًا سريعًا ورخيصًا قد يحل محل جزء من عمليات التشغيل المكلفة في المحاكيات.

لماذا تصطدم التقييمات الإلكترونية للوكلاء بحاجز التكلفة

تتقن نماذج VLM مهام كثيرة: فهي تصف الصور، وتقرأ الواجهات، وتجيب عن الأسئلة المتعلقة بالفيديو. لكن سلوكها داخل الحلقة الوكيلية أقل وضوحًا بكثير، وهي حلقة تتطلب النظر إلى الشاشة أو المشهد، واختيار الإجراء، ثم رؤية عواقبه. والطريقة المباشرة للتحقق هي التقييم الإلكتروني في محاكٍ أو في بيئة حقيقية. وهو تقييم ضروري، لكنه مكلف وبطيء التوسع، ويصعب مقارنة نتائجه بين الفرق.

يمكن لمعايير الأسئلة والأجوبة (VQA) العاملة دون اتصال أن تسد هذه الفجوة. ويقول مؤلفو AgentVQA إن المجموعات الحالية مجزأة ومحدودة: فكل منها يغطي مجالًا ضيقًا خاصًا به، ولا يوجد مقياس موحد للسيناريوهات الوكيلية. ويحاول AgentVQA بناء مثل هذا المقياس في مجموعة واحدة.

كيف جُمع ألف مثال «صعب»

لم يجمع الفريق البيانات آليًا، بل اختار الأمثلة يدويًا من 23 مصدرًا. والمعيار هو أن تكون المشاهد واقعية وصعبة فعلًا ومأخوذة من بيئات تفاعلية. ثم كُيّفت الأمثلة بحيث يمكن تقييمها بموثوقية دون تشغيل البيئة. فالموقف الواقعي من مهمة تفاعلية يتحول إلى سؤال له إجابة يمكن التحقق منها، مع الحفاظ على السياق الأصلي.

والحجة الرئيسية لصالح هذه المنهجية هي الارتباط بالنتائج الإلكترونية. فإذا تفوق النموذج A على النموذج B في المحاكي، فإنه يتفوق عليه عادةً على AgentVQA أيضًا. وبالنسبة للمختبرات، يعني ذلك مؤشرًا سريعًا على التقدم. أما بالنسبة للجهات المتعاقدة، فهو وسيلة لمقارنة النماذج قبل التكامل المكلف.

أبرز معالم المعيار:

• 1000 مثال مختار يدويًا؛
• 23 مجموعة بيانات أصلية؛
• خمسة مجالات: وكلاء الويب، والروبوتات، والفيديو من منظور الشخص الأول، والألعاب، والتخطيط المكاني؛
• 22 نموذجًا خضعت للتقييم؛
• أفضل نتيجة: دقة 58.5%؛
• ترتيب النماذج يتوافق مع التقييمات الإلكترونية.

أين تخفق النماذج: الإدراك لا المنطق

أكثر أجزاء الدراسة إثارة للاهتمام هو تحليل الأخطاء عبر المجالات. فقد درس المؤلفون أسباب إخفاق النماذج، وخلصوا إلى أن السبب ليس سوء فهم المهمة، ولا ضعف المنطق في الخطوة التالية. المشكلة الأساسية هي ربط السؤال بالصورة، والحفاظ على تمثيل دقيق للحالة البصرية الراهنة والمتغيرة.

وعلى وجه التحديد، هناك أربعة أنواع من الإخفاق:

• العثور على عناصر الواجهة المطلوبة على الشاشة؛
• تفسير الحركة؛
• تتبع تغيرات الحالة عبر الزمن؛
• استنتاج العلاقات المكانية ثلاثية الأبعاد.

وتظهر هذه الأنواع الأربعة في مجالات مختلفة. فعلى وكيل الويب أن يجد الزر، وعلى الروبوت أن يفهم إلى أين انتقل الجسم، وعلى وكيل الألعاب ألا يغفل عما تغير بين اللقطات، وعلى المخطِّط أن يقدّر الموضع النسبي للأشياء في الفضاء ثلاثي الأبعاد. وجذر هذه المهام واحد: الإدراك لا يزال نقطة الاختناق.

ماذا على الفرق التي تبني الوكلاء أن تفعل

الاستنتاج العملي الأول: لا يكفي تعزيز قدرات الاستدلال لدى النموذج إذا كان يرى المشهد خطأً عند المدخل. والأجدر تحسين الربط البصري تحديدًا: بالتدريب على بيانات ذات تحديد دقيق لمواضع العناصر، وعلى فيديو يتضمن الديناميكا، وتسلسلات الحالات، والتوسيم المكاني.

الاستنتاج الثاني يتعلق بعملية التطوير. يمكن استخدام AgentVQA مرشِّحًا أوليًا سريعًا: تُشغَّل النماذج المرشحة دون اتصال، ويُبقى على أفضلها، ولا يُرسَل إلى البيئات الإلكترونية المكلفة سوى هذه النماذج. ويجعل الارتباط بالترتيب الإلكتروني هذا النهج منطقيًا، وإن كان لا يلغي التحقق النهائي في بيئة حقيقية.

الاستنتاج الثالث موجه لمن يختارون نموذجًا لمنتج ما. فنتيجة 58.5% لأفضل نموذج بين 22 نموذجًا تدل على أن نماذج VLM الحالية بعيدة عن الموثوقية في السيناريوهات الوكيلية الصعبة. وإذا كان على الوكيل أن ينقر على الواجهات أو يتحكم في روبوت أو يخطط في الفضاء، فسيحتاج إلى فحوصات للإدراك، وآليات تراجع، ومشاركة بشرية في الخطوات الحرجة. ويشير تفصيل الأخطاء حسب النوع إلى الجهة التي ينبغي توجيه الجهود الهندسية إليها أولًا.