Moonshot تطلق WorldVQA: 3500 سؤال عن العالم تخطئ فيه النماذج

أطلق فريق Kimi Team التابع لشركة Moonshot AI معيار WorldVQA لاختبار المعرفة البصرية بالعالم لدى النماذج اللغوية متعددة الوسائط. تضم المجموعة 3500 زوج «صورة — سؤال»، ولكل زوج إجابة واحدة يمكن التحقق منها. فكرة الاختبار بسيطة: هل تتعرف النموذج فعلًا على الشيء المعيّن في الصورة، أم تبني إجابتها استنادًا إلى أنماط بصرية مألوفة؟ وبحسب المؤلفين، فإن النماذج المتقدمة نفسها كثيرًا ما لا تبلغ دقة 50% في المعرفة «ذات الذيل الطويل» النادرة. وقد نُشرت مجموعة البيانات وسكربتات التقييم، ومعها ورقة بحثية على arXiv.

ما الذي تتضمنه مجموعة البيانات

صيغت الأسئلة لقياس سعة المعرفة الموسوعية، لا القدرة على الاستدلال انطلاقًا من الصورة. واستبعد المؤلفون الأسئلة الذاتية والمشاهد الملتبسة. وخضعت جميع الصور وأزواج «سؤال — إجابة» لمراجعة يدوية متعددة المراحل.

تعكس الأمثلة اتساع نطاق الأسئلة: تحديد نوع طائر (Chestnut Shortwing)، أو زهرة (الفريزيا)، أو معلم طبيعي (رأس الرجاء الصالح)، أو باليه «بحيرة البجع»، أو شخصية من لعبة، أو أنمي «اسمك»، أو شعار EgyptAir. وهناك أيضًا أسئلة تتطلب أقصى درجات الدقة، مثل تسمية جهاز استهلاكي مع طرازه بالتحديد حتى iPhone 17 Pro. وصيغ جزء من الأسئلة بالصينية: عن معبد بوذي قديم، وقطعة متحفية من عصر الممالك المتحاربة، والمقاتلة J-20، وملعب في شنغهاي.

أبرز معايير المجموعة:

• 3500 زوج «صورة — سؤال»؛
• 2240 سؤالًا بالإنجليزية (64%) و1260 سؤالًا بالصينية (36%)؛
• 9 فئات: من الطبيعة والعمارة إلى العلامات التجارية والرياضة والشخصيات العامة؛
• الصعوبة: 31,16% أسئلة سهلة، و40,77% متوسطة، و28,07% صعبة؛
• التقسيم إلى Head (المعروف على نطاق واسع) وTail (النادر)، لرصد كيف تتراجع الجودة كلما قلّت شهرة الشيء.

أكبر الفئات: «المواقع والعمارة» (14,63%)، و«الترفيه والإعلام» (14,60%)، و«الثقافة والفنون» (14,46%)، و«الشخصيات العامة» (14,29%). وأصغرها الرياضة بنسبة 4,06%.

المشكلة لا تقتصر على الدقة، بل تشمل تقدير النموذج لنفسه

يتناول الجزء الثاني من الدراسة المعايرة: أي مدى تطابق الثقة التي يعلنها النموذج مع النسبة الفعلية للإجابات الصحيحة. ولهذا استُخدم مقياسان. يُظهر ECE (Expected Calibration Error) متوسط الفجوة بين الثقة والدقة، والقيمة المثالية له 0. أما Slope (متوسط الميل المرجّح) فيعكس مدى اتباع الدقة للثقة، والقيمة المثالية له 1,0.

النتيجة واحدة لجميع النماذج المختبرة: ثقة مفرطة بصورة منهجية. فمعظم التنبؤات تتركز في نطاق 90–100% من الثقة المعلنة، رغم أن الدقة الفعلية أدنى منها بوضوح. وأفضل القيم في المقياسين تعود إلى نموذج المؤلفين نفسه، Kimi-K2.5: ECE يبلغ 37,9% وSlope يبلغ 0,550. وهذه أفضل نتيجة في المقارنة، لكنها بعيدة عن المثالية: فلو كان خطأ المعايرة معدومًا لاقترب ECE من الصفر وSlope من الواحد. ويقر المؤلفون أنفسهم بأن الطريق ما زال طويلًا قبل أن يتحلى النموذج بـ«الأمانة» ويتسق مع حدود معرفته.

الخلاصات العملية

بالنسبة إلى الفرق التي تدمج النماذج متعددة الوسائط في منتجاتها، فإن الخلاصة الرئيسية تتعلق بالثقة في الإجابات. فإذا سمّى النموذج طراز سيارة أو نوع نبات أو شعارًا أو عملًا فنيًا، فإن ارتفاع ثقته بإجابته لا يدل كثيرًا على صحتها. ويزداد هذا أهمية في الأشياء النادرة: فهناك تحديدًا تنخفض الدقة وتبقى الثقة مرتفعة.

ما الذي يُنصح بفعله عمليًا:

• تشغيل النماذج المرشحة لديك على WorldVQA إذا كان منتجك يعتمد على التعرف على كيانات بعينها، مع النظر إلى Head وTail كلًا على حدة؛
• عدم الاكتفاء بتقدير النموذج لنفسه كمرشّح وحيد: ففي السيناريوهات التي يكون فيها للخطأ ثمن، ينبغي إضافة تحقق خارجي أو بحث في قاعدة بيانات؛
• في المهام الناطقة بالصينية، مراعاة حصة الأسئلة الصينية في الاختبار (36%) وعدم الاقتصار على المقاييس الإنجليزية؛
• التعامل مع ECE وSlope بالاهتمام نفسه الذي يُعطى للدقة الخام.

ويرى المؤلفون أن تحسين النتائج على WorldVQA خطوة ضرورية للجيل القادم من وكلاء الذكاء الاصطناعي: فالوكيل الذي يتعرف على الشيء خطأً ويثق بنفسه مع ذلك، يخطئ في المواضع التي يتصرف فيها باستقلالية. وتتيح البيانات والسكربتات المفتوحة للمختبرات الأخرى مقارنة نماذجها على مقياس واحد.