Claude Fable 5.2 داخل Devin يحقق 49.1% في FrontierCode 2.0 مقابل 32.4% للإصدار 5.1

قصة مألوفة: يبلّغ الوكيل بأن المهمة حُلّت، والاختبارات خضراء، لكن المراجعة تكشف أن الشيفرة لا يمكن دمجها. فهي لا تتبع أعراف المستودع، أو تكسر وحدة مجاورة، أو تجلب أشياء زائدة. وهذه الفجوة تحديدًا بين «تعمل» و«يمكن دمجها في main» يحاول قياسها اختبار FrontierCode 2.0 من فريق Windsurf. والآن لديه متصدّر جديد: Claude Fable 5.2 الذي أصبح متاحًا في Devin.

ماذا تُظهر الأرقام

وفق بيانات Windsurf، حقق Fable 5.2 نسبة 49.1% في FrontierCode 2.0. للمقارنة:

• Fable 5.1: ‏32.4%.
• Opus 5.5: ‏45.5%.

الزيادة مقارنة بالإصدار السابق تقارب 17 نقطة مئوية. وهذا ليس تحديثًا شكليًا، بل قفزة ملحوظة في جودة الشيفرة. أما الفارق مع Opus 5.5 فهو أكثر تواضعًا، نحو 3.6 نقطة، لكن النموذج مع ذلك احتل المركز الأول.

والجزء الثاني من الإعلان أكثر إثارة للاهتمام لمن يحسبون التكاليف. فبحسب المؤلفين، يتفوق Fable 5.2 حتى عند مستوى منخفض من reasoning effort على أفضل نتيجة لـ Fable 5.1، بينما تقل تكلفته عن ثلث سعر المهمة. وإذا تأكد ذلك على بياناتكم، فإن الترقية تعطي أثرين معًا: شيفرة أفضل وفاتورة API أقل. وعادةً يتعين المقايضة بين الأمرين.

كيف يعمل التقييم ولماذا هو مهم

يقيّم FrontierCode 2.0 النماذج على مهام هندسية حقيقية وفق معايير الجودة وقابلية الدمج. والدرجة النهائية هي مجموع موزون لبنود مصفوفة التقييم. وهناك أيضًا قاعدة صارمة: الحل الذي لا يجتاز المعايير الحاسمة يحصل على صفر. وهذا يختلف جوهريًا عن الاختبارات المعتادة من نوع «نجحت الاختبارات الوحدوية أم لا». فالشيفرة التي تعمل شكليًا لكنها تخالف معايير المشروع لا تُحتسب هنا.

وتحسب Windsurf التكلفة في رسمها البياني بوصفها متوسط المبلغ بالدولار لكل تشغيل وفق الأسعار العامة لـ API مع مراعاة الخصومات المعلنة. أي أنها ليست التكلفة الداخلية، بل ما ستدفعونه فعلًا. ويمكن على الأقل نقل مثل هذه الأرقام تقريبيًا إلى ميزانيتكم.

القيود وما يجب فعله عمليًا

التحفظ الرئيسي واضح: الاختبار ابتكرته Windsurf وتديره بنفسها، وهي أيضًا من تبيع Devin. هذا لا يعني أن الأرقام غير موثوقة، لكنه يعني غياب تحقق مستقل. كما تغيب تفاصيل ينبغي معرفتها قبل استخلاص النتائج: كم عدد المهام في المجموعة، وما اللغات والتقنيات المستخدمة، ومدى استقرار النتيجة بين التشغيلات. وقد يقع فارق الـ3.6 نقطة بين Fable 5.2 وOpus 5.5 ضمن نطاق الضجيج الإحصائي، وقد لا يقع، ولا يمكن معرفة ذلك من المنشور.

ولذلك فإن الخلاصة العملية كالتالي.

• إذا كنتم تستخدمون Devin بالفعل، فجرّبوا Fable 5.2 على عدة مهام نموذجية لديكم، بما فيها غير المحببة: إعادة الهيكلة، وإصلاح خطأ في شيفرة غيركم، وتعديل يراعي الأعراف.
• ابدؤوا بمستوى reasoning منخفض. فالوفر المعلن، أي أرخص بثلاث مرات من أفضل نتيجة للإصدار السابق، قد يكون أثمن جزء في هذا الإصدار. تحققوا من كفاية هذا الوضع قبل أن تدفعوا مقابل الوضع المرتفع.
• احسبوا المقياس المهم لكم. نسبة طلبات الدمج (PR) المقبولة دون تعديلات ووقت المراجعة سيخبرانكم أكثر من أي لوحة متصدّرين عامة.

الخلاصة: يبدو Fable 5.2 تحديثًا قويًا للتطوير القائم على الوكلاء، خصوصًا بفضل معادلة «أفضل وأرخص». لكنه حتى الآن ادعاء من الشركة المنتجة على اختبارها الخاص، وقرار التحويل ينبغي أن يُتخذ بناءً على النتائج على قاعدة شيفراتكم.