Artificial Analysis تطلق Intelligence Index v5: النماذج المفتوحة تتخلف بـ12 نقطة

أصدرت Artificial Analysis مؤشر Intelligence Index v5، وهو أكبر تحديث لتصنيفها المركّب منذ يناير. يضم المؤشر الآن تسعة تقييمات، ويقع 60% من وزنه على اختبارات ذات مجموعات بيانات خاصة أو إجابات مخفية. والغاية من ذلك الحماية من تسرب الاختبارات إلى بيانات التدريب. يتصدر Claude Opus 5.5 (max) بـ58 نقطة، ولا يتفوق أي نموذج في الاختبارات التسعة كلها.

كيف أُعيد بناء المؤشر

يضم الإصدار v5 معيارين جديدين وثلاثة معايير محدَّثة. تزن كل فئة من الفئات الأربع 25%. وفيما يلي التركيبة:

• Knowledge Work (25%): AA-Briefcase (15%)، وAutomationBench-AA (5%)، وGDP.pdf (5%).
• Coding (25%): FrontierCode 2.0 (15%) وTerminal-Bench 4.0 (10%).
• Science (25%): Terminal-Bench-Science (15%) والمجموعة الفرعية الخاصة من CritPt v2 (10%).
• General (25%): AA-Omniscience v1.1 (15%: منها 10% للدقة و5% لغياب الهلوسات) وHLE-Diamond (10%).

FrontierCode 2.0 معيار خاص من Cognition يتألف من 132 مهمة في مستودعات حقيقية مفتوحة المصدر. لا تُحتسب النتيجة إلا إذا كان المشرف على المشروع (maintainer) سيقبل التعديل الذي اقترحه الوكيل.

ويؤدي الإخفاق في أي فحص حاجب إلى الحصول على صفر. أما Terminal-Bench-Science فيحتوي على 70 مهمة بحثية في الطرفية، ولا تُعدّ المهمة محلولة إلا إذا اجتازت جميع الاختبارات. وحلّ HLE-Diamond محل Humanity's Last Exam، وهو نسخة منقّحة من 1000 سؤال أعدّتها CAIS وScale AI، موزعة بالتساوي بين الاستدلال والمعرفة.

ونُقّح AA-Omniscience v1.1 من الأسئلة المشبعة والعلنية، وأُضيفت أسئلة جديدة وصُحّحت الأسئلة الملتبسة. وانخفض متوسط الدرجات بنحو 2 نقطة.

ويُقيَّم CritPt v2 على 40 سؤالًا مغلقًا هي الأصعب من بين 70 سؤالًا في الفيزياء؛ وحُذف 30 سؤالًا حلّتها سبعة نماذج متقدمة في جميع المحاولات الخمس.

خرجت من المؤشر GDPval-AA v2.1 وSciCode وAA-LCR v1.1. وتبقى AA-Briefcase وAutomationBench-AA وGDP.pdf وTerminal-Bench 4.0.

من في المقدمة ومن تأخر

تحتل نماذج Anthropic وOpenAI المراكز الخمسة الأولى. ويأتي Gemini 4 Argon (high) بعدها بـ50 نقطة.

• Claude Opus 5.5 (max): 58 نقطة إجمالًا. يتصدر في FrontierCode 2.0 (46%) وHLE-Diamond (68%) وAA-Omniscience v1.1 (48). تبلغ تكلفته $10.04 لكل مهمة في المؤشر.
• GPT-6 Astra (max): 57. الأفضل في Terminal-Bench-Science (63%) وCritPt v2 (72% عند جهد high). تكلفته $6.24 لكل مهمة.
• GPT-6.1 Sol (max): 55. تكلفته $1.27 لكل مهمة.
• GPT-6.1 Terra (max): الأرخص بين النماذج العشرة الأفضل، بتكلفة $0.96 لكل مهمة.
• Claude Fable 5.1 (max): الأغلى، بتكلفة $13.04. وحصل في HLE-Diamond على 60%.
• Claude Sonnet 5.5: متصدر AA-Briefcase (1812 Elo)، وحقق 42% في FrontierCode 2.0.
• Kimi K3.1 Pro: الأفضل في Terminal-Bench 4.0 (67%) وأفضل نموذج مفتوح إجمالًا (46)، لكن أوزانه لم تُنشر بعد.
• Gemini 4 Argon: متصدر AutomationBench-AA (78%).
• Muse Wonder Full: متصدر GDP.pdf (33% all-pass).
• DeepSeek V4.1 Flash 1017 وGLM-5.3 (max): 32 نقطة لكل منهما، وهما الأفضل بين النماذج المفتوحة ذات الأوزان المنشورة. وحقق DeepSeek 28% في FrontierCode 2.0 و13% في Terminal-Bench-Science.
• Claude Haiku 5.5 (max): 36 نقطة، أي أعلى من أي نموذج مفتوح الأوزان. وحصل في Terminal-Bench-Science على 20%.

اتسعت الفجوة مع النماذج المفتوحة من 3 نقاط في v4.3 إلى 12 نقطة. وتبدو أوضح ما تكون في HLE-Diamond (Kimi K3.1 Pro بنسبة 37% مقابل 68%) وTerminal-Bench-Science (34% مقابل 63%). وإذا احتُسبت النماذج ذات الأوزان المنشورة فقط، تبلغ الفجوة 26 نقطة. وسجّلت أغلب النماذج المفتوحة في Terminal-Bench-Science أقل من 10%.

ثمن الذكاء والشهية للرموز

يتخلف GPT-6.1 Sol عن Opus 5.5 بـ3 نقاط فقط، بينما تقل تكلفة المهمة معه بنحو ثمانية أضعاف. وصار لوضع الجهد تأثير أكبر. فـOpus 5.5 يحقق 35 عند low و58 عند max، وترتفع التكلفة عشرة أضعاف ($0.98 مقابل $10.04). واتسع التفاوت لدى Sonnet 5.5 من 20 إلى 29 نقطة، ولدى GPT-6.1 Sol من 10 إلى 20.

أصبحت المهام أثقل. فقد ارتفع الوسيط الحسابي لعدد رموز الإخراج لكل مهمة بمقدار الثلثين، من 35k إلى 59k. وتستحوذ الاختبارات الوكيلية (Terminal-Bench-Science وTerminal-Bench 4.0 وAA-Briefcase وFrontierCode 2.0) على 55% من الوزن، لكنها تستهلك نحو 90% من الرموز. ويستحوذ Terminal-Bench-Science وحده على نحو الثلث.

وأُطلق بصورة منفصلة Progress Index v1. يضع هذا المؤشر النماذج الصادرة منذ نوفمبر 2022 على مقياس واحد متصل، ما يتيح مقارنة نماذج تفصل بينها سنوات. أما لاختيار نموذج للمهام الحالية فما زال Intelligence Index هو المطلوب. واعتمد المطورون في عملهم على Epoch Capabilities Index، وشكروا Epoch AI وAnthropic.

الخلاصة العملية للفرق: لم يعد اختيار النموذج بحسب الدرجة الإجمالية كافيًا. لأتمتة البرمجة والعلوم، انظروا إلى FrontierCode 2.0 وTerminal-Bench-Science، ولضبط الميزانية احسبوا تكلفة المهمة ووضع الجهد. وتصلح النماذج المفتوحة حاليًا للسيناريوهات البسيطة، لكنها تتخلف كثيرًا في سلاسل العمل الوكيلية الطويلة. وقبل الإطلاق في بيئة الإنتاج، يحسن تشغيل مهامكم الخاصة على عدة أوضاع للجهد.