Kimi تطلق PerceptionBench: لا نموذج من بين 16 MLLM بلغ 60%

نشر فريق Kimi في Moonshot AI اختبار PerceptionBench، وهو اختبار من 3000 سؤال تم التحقق منها، ويقيس أمرًا واحدًا: ما الذي يراه النموذج متعدد الوسائط فعلًا في الصورة. ومن بين ستة عشر نموذج MLLM رائدًا (frontier) لم يبلغ أي نموذج دقة 60%. وفي المتوسط كانت أضعف نقطة لدى النماذج هي الهلوسات المرتبطة بالإدراك. مجموعة البيانات وكود التقييم متاحان على GitHub.

تصنيف مستمد من الإخفاقات لا من النظرية

عادةً تُحدَّد مجموعة المهارات مسبقًا، ثم تُكتب الأسئلة على أساسها. أما مؤلفو PerceptionBench فقد سلكوا الاتجاه المعاكس. أخذوا أخطاء النماذج الرائدة (frontier) في 42 اختبارًا قائمًا، وحدّدوا لكل خطأ أبكر خطوة خاطئة فيه. جاء الخطأ أولًا ثم الفئة. وبهذه الطريقة نتجت عشر قدرات ذرية.

بعد ذلك انتقى الفريق أكثر الإخفاقات دلالة وفكّكها إلى أسئلة فرعية بسيطة. وكُتب جزء من الأسئلة من الصفر على صور إضافية. وبلغ حجم المجموعة الداخلية أكثر من 17 000 سؤال تم التحقق منها. وضمّ الإصدار العام 3000 سؤال: 60% منها مستخلصة من تفكيك أخطاء حقيقية للنماذج، و40% كُتبت من جديد. وجرى توازن الفئات من حيث الحجم، وتوزيع الصعوبة على شرائح.

الشرط الرئيسي: أن تُعرف الإجابة بالنظر مباشرة، دون استدلال ودون معارف خارجية. ومن الأمثلة الواردة في الإعلان: عند أي علامة ساعة على قرص الساعة يقع رمز Gemini، وكم عدد أصص النباتات في الإطار (لا تُحتسب الانعكاسات في الزجاج)، وأي قطعة من ثماني قطع تسدّ الفجوة في النقش، وما الذي ظهر في الصورة الثانية للمشهد نفسه.

وثمة ملاحظة إضافية: الاختبارات الأصلية لا تتقاطع إلا قليلًا. فمتوسط معامل Jaccard الموزون الزوجي هو 0,20. كل اختبار منها يلتقط شريحة ضيقة من أخطاء الإدراك، ولا يغطي أيٌّ منها الصورة كاملة.

الفئات العشر وأوزانها

تتوزع الأسئلة الـ3000 في الإصدار على النحو التالي:

• Depth & 3D — 330 (11,00%)
• Visual Counting — 330 (11,00%)
• Visual Relation — 330 (11,00%)
• Visual Attribute — 330 (11,00%)
• Visual Localization — 330 (11,00%)
• Fine-grained Recognition — 290 (9,67%)
• Visual Comparison — 279 (9,30%)
• Hallucination — 271 (9,03%)
• Context Integration — 255 (8,50%)
• OCR — 255 (8,50%)

تستهدف الاختبارات نقاط ضعف محددة. فيُطلب من النماذج قراءة أكبر نص أبيض مع الحفاظ على حالة الأحرف وعلامات الترقيم، أو العثور على نص بحسب إحداثيات مُطبَّعة. كما تعدّ مكعبات في كومة، بما فيها المكعبات غير المرئية، وتقارن سماكة الخطوط في رسم بياني. أما فئة Hallucination فتختلف في تصميمها: ففي الأسئلة عن الطاولات البيضاء في مكتب وعن الشعارات التي تحمل كلبًا بين 15 نقشًا، تكون الإجابة الصحيحة صفرًا. والنموذج الذي يميل إلى «اختلاق» الأشياء يخطئ هنا.

ما الذي أظهرته النتائج وكيف تُستخدم

تبدو الخلاصات في الإعلان على النحو التالي. لم يبلغ أي من المشاركين الستة عشر نسبة 60%. وتبيّن أن هلوسات الإدراك هي أضعف قدرة في المتوسط. وتتباين النماذج ذات الدرجة الإجمالية المتقاربة تباينًا ملحوظًا فيما تميّزه بالضبط. وهذا مهم عند اختيار النموذج: فالدرجة الإجمالية تخفي الملف التفصيلي، والملف التفصيلي هو ما يحدد أين سيخفق النموذج في مهمتك.

لا يتضمن النص المتاح من الإعلان جدولًا بنتائج كل نموذج على حدة، لذا ينبغي الاطلاع على التصنيفات المحددة في المستودع. وقد نشرت Moonshot نفسها هذا الاختبار، وهي إحدى اللاعبين في هذا السوق. لذلك يجدر التحقق منه على بياناتك الخاصة، لا اعتباره حكمًا مستقلًا.

والخلاصة العملية للفرق التي تدمج MLLM في منتجاتها بسيطة. إذا كنت تبني نظام إدارة مستندات، فانظر إلى OCR وLocalization. وفي الروبوتات والملاحة تكتسب Depth & 3D وVisual Relation أهمية أكبر. وفي التجزئة وجرد المخزون يكون Counting حاسمًا. وفي كل ما يكلّف فيه الخطأ مالًا، تلزمك فئة Hallucination: فهي تبيّن إلى أي مدى يميل النموذج إلى رؤية ما لا وجود له. كود التقييم مفتوح، فيمكن اختبار المرشحين فئةً فئة ومقارنة ملفاتهم في مساء واحد. وهذا أوثق من الاكتفاء بمقارنة رقم إجمالي واحد على لوحة الصدارة.