RealityBench: اختبار 26 نموذج VLM في توثيق العمل الميداني داخل Blender

قدّم باحثون RealityBench، وهو مجموعة من إحدى عشرة بيئة في Blender. واختبروا عليه 26 نموذجًا من نماذج الرؤية واللغة (vision-language) لمعرفة ما إذا كانت قادرة، انطلاقًا من لقطة كاميرا العامل أو نظارته الذكية، على فهم ما يفعله الشخص ومساعدته في التوثيق. تحلّ أفضل النماذج تقريبًا بالكامل المهام التي تكون إجابتها مكتوبة نصًّا في الكادر مباشرة. لكنها تقرأ القياسات بضعف، وتقيّم التفاصيل الدقيقة والعلاقات المكانية بشكل سيئ. وفي قبول اللقطات لا يمكن تمييز النماذج الأعلى جودةً عن مقيّم واحد غير متخصص.

لماذا الحاجة إلى معيار اصطناعي

منذ عقود يشغل وكلاءَ الذكاء الاصطناعي حلمُ مساعدة العامل في العالم المادي عبر التلميحات والإرشادات. ومن المهارات الأساسية هنا فهم ما يفعله الإنسان من خلال النظر بعينيه، ثم المساعدة في توثيق النتيجة. لكن بيانات الاختبار الواقعية لمثل هذه الأنظمة شبه معدومة: فمعظم تسجيلات العمل الفيزيائي مغلقة، كما أن التباين فيها كبير جدًا بما لا يسمح بمقارنة دقيقة.

توفّر المطابخ والمستودعات إضاءة وهندسة ومجموعة أغراض يمكن التنبؤ بها. أما تركيب الألواح الشمسية على السطح أو إصلاح سيارة فيختلفان: الظروف غير محدودة، والتباين هائل. لذلك حاكى المؤلفون هذه السيناريوهات في Blender، وبنوا إحدى عشرة بيئة بنوعين من المهام.

• Acceptability: هل تصلح هذه الزاوية كدليل على إنجاز العمل.
• Documentation: هل يفهم الوكيل من هذه الزاوية حالة البيئة المهمة للمهمة.

ماذا أظهرت نتائج 26 نموذجًا

• النطاق: 11 بيئة في Blender، و26 نموذج VLM.
• التوثيق: تنجح النماذج العليا في الغالب إذا كانت الإجابة نصًّا في الكادر.
• نقاط الضعف: قراءة القياسات، والتفاصيل الدقيقة، والعلاقات المكانية، مثل ميلان شريط القياس.
• قبول اللقطات: لا تختلف أفضل النماذج إحصائيًّا عن مقيّم واحد غير متخصص.
• تكلفة التشغيل: ضمن نطاق تكلفة المراجعة البشرية.
• النقل إلى الواقع: في ثلاثة أسئلة مع صور حقيقية، بقيت تصنيفات النماذج على الصور المُنتَجة (renders) كما هي.

قبول اللقطات أعقد من التوثيق. فالمقيّمون البشر يختلفون فيما بينهم، ولذلك يبقى المعيار المرجعي غير حاد. واعتمد المؤلفون مقيّمًا يتفق مع رأي الأغلبية بنفس تكرار اتفاق الفرد الواحد تقريبًا. وعلى هذا المقياس لا تختلف أفضل النماذج عن مقيّم واحد لم يشارك في كتابة الورقة البحثية. وفي المقابل، تعادل تكلفة تشغيلها تقريبًا تكلفة مراجعة بشرية.

وتمكّن المؤلفون في ثلاث بيئات من تحليل أسباب أخطاء القبول. فمعظم حالات الرفض الخاطئ ناتجة عن قراءة خاطئة للمشهد، لا عن سوء فهم للمتطلب. أي أن النموذج يدرك ما يجب إظهاره، لكنه يخطئ في رؤية ما هو موجود في اللقطة. ولهذا فإن ضعف الرؤية في التفاصيل الدقيقة يضرب مباشرةً في فائدة مثل هذا النظام.

ويُعدّ تطابق التصنيفات على الصور المُنتَجة والصور الحقيقية حجة لصالح المنهج نفسه. لكن العينة صغيرة، ثلاثة أسئلة فقط مع لقطات حقيقية، ولذلك فهي أقرب إلى اختبار جدوى منها إلى إثبات نهائي.

ما الذي ينبغي أن تراعيه الفرق التي تبني أدوات ذكاء اصطناعي ميدانية

بالنسبة إلى المنتجات القائمة على النظارات الذكية والتقارير المصوّرة، الخلاصة عملية. يمكن أتمتة التعرف على النقوش واللافتات منذ الآن. أما قراءات شريط القياس والفواصل والميلان فالأفضل تركها لتحقق بشري أو تأكيدها بلقطة ثانية.

عند تقييم قبول اللقطات، قارنوا النموذج بمراجع بشري واحد، لا بحقيقة مفترضة. فحين يختلف البشر أنفسهم، يكون هذا القياس أكثر إنصافًا. وبما أن الجزء الأكبر من الأخطاء ناتج عن قراءة المشهد قراءة خاطئة، فالأجدر تحسين النظام على مستوى الإدراك: زوايا التصوير، واللقطات القريبة، وإعادة التصوير. أما إعادة كتابة قوائم التحقق فستعطي هنا أثرًا أقل.

تتيح بيئات Blender الاصطناعية اختبار النماذج حيث تكون البيانات الواقعية مغلقة. ويمكن تمرير الجيل الجديد من نماذج VLM عبرها قبل ظهور التجارب الميدانية التجريبية.