SpatialScout: أفضل وكيل VLM رسم خريطة ثلاثية الأبعاد للغرفة بنسبة 41,71% فقط

تستطيع النماذج الإجابة عن أسئلة تتعلق بالمكان، لكن ذلك لا يعني أنها قادرة على قياسه. وهذا ما اختبره مؤلفو معيار SpatialScout: زوّدوا وكلاء VLM بكاميرا وقائمة أشياء وعدد محدود من الخطوات، ثم طلبوا منهم تحديد موضع كل شيء في الغرفة. وجاءت أفضل نتيجة من Claude Opus 5.5 بمتوسط overlap score بلغ 41,71%. وتجاوز 47,23% من الأهداف عتبة IoU البالغة 0,5، أما عتبة 0,9 فلم يتجاوزها سوى 3,25%.

وكيل مزوّد بكاميرا وميزانية محدودة من الخطوات

تُصمَّم معظم اختبارات الذكاء المكاني على هيئة مسابقة أسئلة: تُعرض صورة أو مقطع فيديو، ثم يُطرح سؤال عن الموضع النسبي للأشياء. وإجابة مثل «المصباح على يسار الأريكة» يمكن تخمينها من التركيب العام للقطة، ولا تدل على قدرة النموذج على بناء خريطة دقيقة. يسدّ SpatialScout هذه الثغرة. فالوكيل هو من يقرر أين يوجّه الكاميرا، وأي الإطارات يطلب، وكيف يطابق الشيء نفسه في لقطات مختلفة.

يتلقى الوكيل قائمة جرد بالأشياء، وملاحظات RGB، ومعايرة الكاميرا مع وضعياتها. وعليه في المقابل أن يُخرج مراكز الأشياء في نظام إحداثيات موحّد. تضم مجموعة البيانات 80 مشهدًا داخليًا متنوعًا و3140 هدفًا. وعدد التفاعلات المسموح بها مع الكاميرا في كل مشهد محدود، ولذلك لا يمكن الدوران حول الغرفة إلى ما لا نهاية وإعادة التحقق من كل شيء.

تتطلب المهمة أربع مهارات معًا: اختيار زاوية الرؤية، وربط الملاحظات بين المشاهد المختلفة، وتقدير الهندسة، ومراجعة الخريطة حين يتناقض إطار جديد مع الفرضية السابقة. وأي ضعف في إحدى هذه المهارات يُفسد النتيجة.

أين تنهار الخريطة: من الغرفة إلى السنتيمترات

المقياس صارم. فالتقييم يراعي دقة تحديد الموضع وتغطية الأهداف معًا، وتُعاقَب التوقعات الناقصة. والشيء الذي لم يعثر عليه الوكيل يُحتسب فشلًا، ولا يُغفَل ببساطة من الإحصاءات. وتجري المقارنة عبر تقديرات overlap بمقياس الشيء نفسه: فهامش الخطأ المسموح به بالأمتار لكوب صغير أقل بكثير منه لخزانة.

الأرقام الرئيسية لأفضل نموذج بين النماذج المختبرة:

• متوسط overlap score: 41,71%؛
• حصة الأهداف ذات IoU أعلى من 0,5: 47,23%؛
• حصة الأهداف ذات IoU أعلى من 0,9: 3,25%؛
• عدد المشاهد في المعيار: 80، وعدد الأهداف: 3140.

تبيّن الفجوة بين 47,23% و3,25% أين يقع الحد الفاصل. فالنموذج يدرك عمومًا أن في الغرفة أريكة وطاولة ونافذة، ويقدّر مواضعها تقريبًا. لكن حين تلزم دقة تصلح للملاحة أو التعامل مع الأشياء، تنهار النتيجة. ويصف المؤلفون ذلك بأنه فجوة بين استعادة التوزيع العام للغرفة وبناء خريطة مترية دقيقة وكاملة.

ومن المهم أيضًا أن الاختبار شمل نماذج متقدمة، لا نماذج أساسية ضعيفة. فإذا كان النموذج الرائد نفسه لا يغطي بمستوى مقبول حتى نصف الأهداف، فالمشكلة أعمق من ضبط الـprompt أو حسن اختيار زوايا الرؤية.

ما الذي ينبغي تغييره في خطوط العمل الآن

يفيد SpatialScout الفرق التي تبني الروبوتات ومساعدي AR والوكلاء العاملين في البيئة الفيزيائية بوصفه أداة تشخيص. فهو يبيّن في أي مرحلة يفقد النموذج دقته: عند اختيار زاوية الرؤية، أو عند مطابقة الأشياء بين الإطارات، أو عند التقدير الهندسي. وهذا مهم لأن لكل علة علاجها الخاص.

الخلاصات العملية:

• لا تعتمدوا على VLM مصدرًا وحيدًا للخريطة المترية؛ الأفضل إسناد الهندسة إلى وحدات متخصصة مثل SLAM أو إعادة البناء متعددة المناظير، وترك النموذج اللغوي للدلالات والتخطيط؛
• قيّموا القدرات المكانية للوكيل بمقاييس ذات عتبات IoU، لا بالإجابة عن الأسئلة: فالنتيجة المتوسطة تخفي ذيلًا من التوقعات غير الدقيقة؛
• أدرجوا في النظام آلية لمراجعة الخريطة، لأن مراجعة الفرضيات عند ظهور ملاحظات جديدة ما زالت نقطة الضعف؛
• راقبوا التغطية: فالشيء الفائت أسوأ للروبوت من شيء بخطأ طفيف في الإحداثيات.

نُشر كود المعيار على GitHub، ولذلك يمكن لأي مختبر تشغيل وكيله الخاص عليه ومقارنته بأرقام Claude Opus 5.5. والمستوى المطلوب حاليًا ليس مرتفعًا، لكن للحصول على خريطة يمكن الوثوق بها، يتعين على النماذج تحسين دقتها بوضوح عند عتبات IoU العليا.