Claude Fable 5.2 يتصدر اختبار MKA بنسبة 57%، لكن تكلفة المهمة الواحدة 31.97 دولارًا

لا تزال معظم اختبارات الوكلاء تقيس كيف يكتب النموذج الشيفرة البرمجية أو يتنقل بين المواقع. أما العمل المكتبي الفعلي فيبدو مختلفًا: يتلقى المهندس مخططًا معماريًا، ويتلقى المحلل صورة ممسوحة ضوئيًا لمستند، ولا يُنتظر منهما جواب في محادثة بل ملف جاهز. وهذا بالضبط ما يختبره MKA (Multimodal Knowledge Agent)، وهو اختبار جديد من Google DeepMind أطلقته Artificial Analysis حصريًا على منصتها.

ما الذي يُختبر تحديدًا

يضم الاختبار 200 مهمة مغلقة من 10 قطاعات. يعمل الوكيل مع مواد بصرية كثيفة: مخططات معمارية، ورسومات هندسية، وصور سريرية. وعليه في النهاية إنتاج أحد ستة أنواع من الملفات: عرض تقديمي، أو جدول، أو PDF، أو مستند Word، أو ملف نصي، أو صورة موسومة.

الفارق الرئيسي عن كثير من الاختبارات الأخرى أن الصورة هنا ليست مجرد سياق إضافي. فمن دون تحليل دقيق للملفات البصرية لا يمكن حل المهمة. وإذا كنتم تطورون وكيلًا لشركة إنشاءات أو لعيادة، فهذا الاختبار أقرب إلى واقعكم من مجموعة أخرى من مهام البرمجة.

يُقيَّم كل مهمة وفق معايير خبراء، بمتوسط نحو 70 معيارًا موزونًا. وتنقسم المعايير إلى مجموعتين. «Regression» هي فحوص أساسية يجب على النموذج اجتيازها. و«Climb» هي فحوص صعبة تفرّق بين النماذج القوية والمتوسطة. والمقياس الرئيسي، Climb WSR، يعرض النسبة الموزونة للمعايير الصعبة المنجزة.

يجري التشغيل ضمن إطار الوكلاء المفتوح Stirrup: يملك الوكيل تنفيذ الشيفرة، والبحث على الويب، وتحميل الصفحات، وعرض الصور، بحد أقصى 250 خطوة. ويتحقق من النتيجة وكيل حَكَم قائم على GPT-6 Luna (medium).

من في المقدمة وكم يكلّف ذلك

في المركز الأول Claude Fable 5.2 (max) بنسبة Climb WSR تبلغ 57%. ثم Gemini 4 Carbon (high) بنسبة 54%، وClaude Opus 5.5 (max) بنسبة 53%. وإذا نظرنا إلى الأرقام بواقعية، فإن أفضل نموذج ينجز أكثر قليلًا من نصف المعايير الصعبة. وما زلنا بعيدين عن بديل موثوق للمتخصص في هذا النوع من العمل.

أوضح ما في الأمر هو السعر. ينفق Fable 5.2 في المتوسط 31.97 دولارًا على المهمة الواحدة. وهذا أغلى بأكثر من 5 مرات من Gemini 4 Carbon (6.29 دولارًا) مقابل نقطتين إضافيتين تقريبًا في الجودة. وأغلى بنحو 29 مرة من GPT-6.1 Sol (1.11 دولار). وتقع جميع نماذج OpenAI الأربعة المختبَرة (GPT-6 Astra وGPT-6.1 Sol وGPT-6.1 Terra وGPT-6 Luna) على حدود باريتو للسعر والجودة، أسفل Carbon. وانضم إليها أيضًا Claude Haiku 5.5 وMiMo-V2.6-Pro.

تعني حدود باريتو هنا أمرًا بسيطًا: لا يمكن استبدال هذه النماذج بنموذج آخر يكون أرخص وأفضل في آن واحد.

لا يوجد فائز شامل

تتباين الصورة بحسب القطاعات:

• يتصدر Claude Fable 5.2 في خمسة قطاعات: Software & Data وEngineering وLogistics & Mapping وBusiness وFinance (ويتقاسم الأخير مع Claude Sonnet 5.5).
• يتقدم Claude Opus 5.5 في التعليم والإنشاءات.
• يفوز Gemini 4 Argon في العلوم، وGemini 4 Carbon في الرعاية الصحية.
• يتصدر Claude Sonnet 5.5 بفارق طفيف في القانون والقطاع الحكومي.

أما بحسب أنواع الملفات الناتجة، فالتفاوت أقل منه بحسب القطاعات. يتقدم Fable 5.2 في PDF وWord والجداول (بفارق ضئيل) والعروض التقديمية (مناصفة مع Opus 5.5). ويتفوق Gemini 4 Argon وCarbon في الصور، وDeepSeek V4.1 Flash 1017 في الملفات النصية. وأصعب الصيغ هي Word والملفات النصية: لم يتجاوز أي نموذج 52%.

ماذا نفعل بهذه النتائج

الاستنتاج الأول لمديري المنتجات: لا تختاروا النموذج وفق الترتيب العام. فإذا كان سيناريوكم في الطب أو المستندات القانونية، فقد يكون المتصدر مختلفًا، ومن المجدي اختبار النموذج على قطاعكم تحديدًا.

الاستنتاج الثاني: احسبوا التكلفة لكل مهمة لا لكل رمز (token). فقد يكون نموذج بسعر 1.11 دولار للمهمة أنسب من نموذج بسعر 31.97 دولارًا إذا كان فارق الجودة لا يتعدى بضع نقاط وكان الإنسان يراجع النتيجة في كل الأحوال.

وهناك قيود أيضًا. فالمهام مغلقة، ولذلك لا يمكن إعادة إنتاج النتائج بشكل مستقل. كما أن التقييم يجريه نموذج، وإن كان وفق معايير الخبراء. والحَكَم هو GPT-6 Luna، وتشارك نماذج OpenAI في الجدول نفسه، لذلك لا يمكن استبعاد التحيز بالكامل. وتوضيح آخر: الاختبار يقيس جودة الملفات الجاهزة، لا الأمان ولا سرعة العمل. وهو مفيد كمؤشر لاختيار نموذج للعمل المكتبي الغني بالمحتوى البصري، لكن الأفضل اتخاذ القرار النهائي بعد تجربة النموذج على ملفاتكم الخاصة.