مؤشر FrontierCode: أفضل نماذج الذكاء الاصطناعي تفشل في مراجعات المشرفين بنسبة 42% من المحاولات

حتى أقوى النماذج البرمجية لا تزال تكتب في كثير من الأحيان تعديلات يرفض مشرفو المشاريع دمجها. نشرت منصة Artificial Analysis أولى النتائج المستقلة لمؤشر FrontierCode 1.1، وهو معيار قياسي طورته شركة Cognition بالتعاون مع مشرفين على مشاريع مفتوحة المصدر حقيقية. ويتصدر الترتيب نموذج Claude Opus 5.5 (max with fallback) بمتوسط يبلغ 52%. تنجح 58% من محاولاته في اجتياز جميع اختبارات الحظر، في حين تنتهي نسبة 42% المتبقية بصفر. النتائج مُحدثة حتى 12 أكتوبر 2026.

ما الذي يختبره FrontierCode بالتحديد؟

تطلب كل مهمة من الوكيل إدخال تعديل برمجي على مستودع حقيقي. ولا يقتصر التقييم على مجرد اجتياز الاختبارات البرمجية ونجاحها؛ بل يفرض المعيار عقوبات على التعديلات الفائضة عن الحاجة، والفروقات المتضخمة في الأكواد (diffs)، والتغييرات في ملفات خارج النطاق المطلوب، والاختبارات عديمة الجدوى. ورغم أن النماذج تبرع اليوم في حل المشكلات البرمجية، إلا أن مخرجاتها غالباً ما تتطلب تنقيحاً مكثفاً قبل دمجها. ويسعى FrontierCode تحديداً إلى قياس هذه الفجوة.

طورت Cognition هذه المجموعة بالتعاون مع مشرفين من 36 مستودعاً برمجياً، حيث أمضوا أكثر من 40 ساعة عمل على كل مهمة. أُعلن عن المعيار القياسي في يونيو 2026، وصدر الإصدار 1.1 في يوليو ليضيف قواعد الاستخدام العادل للإنترنت. يجمع نظام التحقق بين اختبارات مخفية وفحوصات للأوامر، وقيود على عدد الملفات المعدلة وحجم الكود، بالإضافة إلى مراجعة يجريها نموذج لغوي وفقاً لمعايير المشرفين. يؤدي الفشل في أي اختبار حظر إلى منح 0 درجة، بينما يحصل من يجتازها جميعاً على درجة تتراوح بين 70% و100%.

اختبرت Artificial Analysis المجموعة الأساسية المكونة من 100 مهمة (من أصل 150 مهمة في المعيار بالكامل) بمعدل ثلاث محاولات لكل مهمة. عملت كافة النماذج داخل بيئة موحدة عبر إطار الوكلاء المفتوح Stirrup بحد أقصى يبلغ 250 خطوة. وتولى التحكيم نموذج GPT-6 Luna (medium). كما تحصل أي محاولة يرصد فيها ماسح المسارات التابع لـ Cognition تلصصاً على الحل على صفر درجة. وتُحفظ هذه المهام في سرية تامة لمنع تسربها إلى بيانات التدريب.

المشهد في الصدارة

• Claude Opus 5.5 (max with fallback): حقق 52% في الدرجات، ونسبة نجاح 58%، بتكلفة 10.15 دولار للمهمة.
• GPT-6.1 Sol (max) وClaude Fable 5.1 (max with fallback): حقق كل منهما 49%. تبلغ تكلفة Sol نحو 0.81 دولار للمهمة، مقابل 12.00 دولار لـ Fable.
• أفضل نموذج مفتوح الأوزان (open weights): نموذج MiMo-V2.6-Pro محققاً 45% بتكلفة 0.18 دولار للمهمة. يليه مباشرة DeepSeek V4.1 Flash (max) وKimi K3 (max) بنسبة 44%.
• تقع تسعة نماذج من ستة مختبرات مختلفة ضمن نطاق ضيق بين 43% و52%.
• تنخفض نسبة النجاح (pass rate) لتصل إلى 16% لدى نموذج Muse Glimmer (high).
• فشلت جميع النماذج دون استثناء في حل 9 مهام من أصل 100 مهمة في أي محاولة. ولا توجد أي مهمة نجحت جميع النماذج في حلها عبر كافة المحاولات.

التكلفة، والرموز، والوقت

تتفاوت تكلفة المهمة بأكثر من 100 ضعف: بدءاً من 0.09 دولار لنموذج GPT-6 Luna (max) الذي حقق 42%، وصولاً إلى 12.00 دولار لنموذج Claude Fable 5.1. وتبرز أربعة نماذج على حدود باريتو (Pareto frontier) من حيث الموازنة بين النتيجة والتكلفة: GPT-6 Luna (max) بنسبة 42% وتكلفة 0.09 دولار، وMiMo-V2.6-Pro بنسبة 45% وتكلفة 0.18 دولار، وGPT-6.1 Sol (max) بنسبة 49% وتكلفة 0.81 دولار، وClaude Opus 5.5 بنسبة 52% وتكلفة 10.15 دولار. وتضيف الخطوة الأخيرة، من Sol إلى Opus، زيادة قدرها 3 نقاط مئوية فقط مقابل قفزة سعرية تتجاوز 12 ضعفاً.

وتكشف المقارنات داخل العائلات النموذجية ذاتها عن معطيات لافتة؛ إذ يتفوق GPT-6.1 Sol بنقطتين على GPT-6 Astra (max) ويقل عنه تكلفة بخمس مرات: 0.81 دولار مقابل 4.22 دولار. ويُولّد Claude Sonnet 5.5 رموز مخرجات تزيد بنحو 50% مقارنة بـ Opus 5.5، لكن نظراً لانخفاض سعر رموزه إلى النصف، تبلغ تكلفته 8.26 دولار مقابل 10.15 دولار.

وتُعد نماذج GPT-6 الأكثر كفاءة في استهلاك الرموز؛ حيث يستهلك GPT-6 Astra وGPT-6.1 Sol ما يقارب 27 ألفاً و33 ألف رمز مخرجات للمهمة على التوالي. في المقابل، يستهلك Claude Opus 5.5 قرابة 157 ألف رمز، بينما يستهلك Claude Sonnet 5.5 نحو 236 ألف رمز، وهو الأعلى استهلاكاً على الإطلاق. ويعتمد الوقت المستغرق لإنجاز المهمة على عدد الرموز وسرعة الاستدلال معاً: ليتراوح بين قرابة 3 دقائق لدى Inkling (xhigh) إلى نحو 46 دقيقة لدى Qwen3.8 Max (0902).

كيف تُقرأ هذه النتائج؟

تتلخص الفائدة العملية للفرق الهندسية التي تدمج الوكلاء البرمجيين في أن الفارق بين النماذج الرائدة، والذي يتراوح بين 3 و10 نقاط مئوية، غالباً ما يكون أقل تأثيراً من الفارق في السعر الذي يتضاعف برتبة أسية. فإذا كان الوكيل يعمل في وضع مستقل وتخضع كافة طلبات السحب (PRs) لمراجعة بشرية في نهاية المطاف، فإن GPT-6.1 Sol أو MiMo-V2.6-Pro يبدوان خيارين أكثر عقلانية استناداً إلى هذه البيانات مقارنة بالنماذج الرائدة باهظة الثمن. ولا يكون دفع تكلفة إضافية للحصول على النقاط الثلاث الأخيرة الفاصلة عن الصدارة مبرراً إلا في الحالات التي ترتفع فيها كلفة الخطأ بشكل حرج.

وثمة مقياس عملي آخر: فنسبة الفشل التي بلغت 42% لدى المتصدر تعني أن المراجعة البشرية تظل التزاماً لا غنى عنه. كما ينبغي عدم الاكتفاء بمراقبة اجتياز الاختبارات فحسب، بل رصد حجم الفروقات البرمجية والتعديلات الجانبية غير المقصودة. يُطرح FrontierCode حالياً كلوحة صدارة مستقلة، ولا يندرج ضمن مؤشر الذكاء العام لـ Artificial Analysis، لكن الفريق يعد بإدراجه قريباً ضمن لوحة صدارة الوكلاء البرمجيين (Coding Agents leaderboard).