Claude Haiku 5.5 يصل إلى Devin: 58,4% في FrontierCode بتكلفة أقل بنحو ثماني مرات من Sonnet 5

ظهر Claude Haiku 5.5 في Devin، والرقم الأبرز في هذا الإصدار هو 58,4% في FrontierCode 1.1. وهذا اختبار مملوك لفريق Devin يقيّم النماذج على مهام هندسية حقيقية من زاويتين: جودة الحل، وإمكانية دمجه (merge) في الفرع الرئيسي. وفق هذا المقياس، يتفوق أصغر نموذج في السلسلة على Sonnet 5 (56,2%)، فيما تقل تكلفة المهمة الواحدة بنحو ثماني مرات بحسب بيانات Windsurf.

ماذا أظهر FrontierCode 1.1

تضم لوحة المتصدرين أحد عشر نموذجاً، ويقع Haiku 5.5 في منتصفها. فوقه يأتي GPT-6.1 Sol وGPT-6 Sol وSWE-2 وClaude Fable 5.1 وSonnet 5.5 وOpus 5.5. وتحته يأتي Kimi K3 وGemini 3.7 Flash وSonnet 5 وGPT-6 Luna. ويبقى الفارق عن القمة واضحاً: ينقصه 6 نقاط للوصول إلى Sonnet 5.5 (64,4%)، وما يقارب 7 نقاط للوصول إلى Opus 5.5 (65,3%). في المقابل، يتقدم Haiku على Sonnet 5 بفارق 2,2 نقطة.

أبرز الأرقام الواردة في المنشور:

• Claude Haiku 5.5: 58,4%
• Claude Sonnet 5: 56,2%
• Kimi K3: 58,2%
• Gemini 3.7 Flash: 56,3%
• GPT-6 Luna: 56,1%
• Claude Sonnet 5.5: 64,4%
• Claude Opus 5.5: 65,3%
• تكلفة المهمة لدى Haiku 5.5: نحو 1/8 من تكلفة Sonnet 5

ومن المهم الانتباه إلى هامش التفاوت. يفصل 0,2 نقطة فقط بين Haiku 5.5 وKimi K3، أي أنهما عملياً في الفئة نفسها على هذا الاختبار. وفي الرسوم البيانية لتكلفة التشغيل يمتد المحور من $0,02 إلى $20، ويبدو منها أن أسعار النماذج تتباين بأضعاف كبيرة. لكن النص لا يورد القيم الدقيقة لكل نموذج، ولذلك تبقى النسبة المعلنة «نحو ثماني مرات» هي الرقم الوحيد الذي يمكن الاعتماد عليه.

Fusion: نموذج أضعف في دور المساعد

يتعلق الجزء الثاني من الإعلان بـ Devin Fusion. فقد انضم Haiku 5.5 إلى فئة نماذج sidekick، أي المساعدين الذين يعملون إلى جانب النموذج الرئيسي. وعند اعتماد Haiku 5.5 في هذا الدور، تسجل Fusion 66,2 نقطة في FrontierCode. وهذا أعلى من نتيجة Opus 5.5 منفرداً (65,3%). ويقول المطورون إن التكلفة وزمن الاستجابة ينخفضان أيضاً.

المنطق واضح: يخطط النموذج الأغلى ويتخذ القرارات الأساسية، ويتولى النموذج الأرخص العمل الكثيف. والفارق البالغ 0,9 نقطة لصالح هذه التركيبة صغير، كما أن الاختبار لا يكشف عن فترات الثقة. لكن الحجة الرئيسية هنا مختلفة: جودة بمستوى النموذج الرائد بتكلفة أقل.

يمكن تجربة ذلك الآن في Devin CLI، حيث يعمل Opus 5.5 نموذجاً رئيسياً. كما يتوفر Devin Desktop.

أين يفيد ذلك عملياً

نبدأ بالتحفظات. فاختبار FrontierCode مملوك لـ Devin نفسها، ولا نرى منهجيته ولا تركيبة مهامه، ونُشرت النتائج في مدونتها الخاصة. وهذا لا يكفي لمقارنة مستقلة. لكن هذه البيانات مفيدة لاختيار النموذج داخل منتج بعينه، لأن الفريق يقيس ما يحدث فعلاً في وكيله (agent).

ما يمكن فعله:

• إذا كانت المهام في معظمها روتينية (تعديلات وفق التذاكر، وإعادة هيكلة صغيرة، واختبارات)، فمن المنطقي تجربة Haiku 5.5 بدلاً من Sonnet 5. فبحسب الأرقام المعلنة، لا يقل عنه جودة، وهو أرخص بوضوح.
• في التغييرات المعقدة متعددة الخطوات، أبقوا Opus 5.5 نموذجاً رئيسياً، وضعوا Haiku مساعداً عبر Fusion.
• قبل تحويل كامل سير العمل، شغّلوا 20–30 مهمة من مستودعكم وقارنوا نسبة التغييرات التي اجتازت المراجعة. وهذا بالضبط ما يحاول الاختبار قياسه.
• احسبوا التكلفة لكل مهمة لا لكل توكن، فمقارنتكم مع Sonnet 5 ستكون عندئذٍ أكثر إنصافاً.

وإذا تأكدت النسبة المعلنة البالغة ثماني مرات على شيفرتكم البرمجية، فسيصبح التوفير عند أحجام كبيرة من العمل القائم على الوكلاء بنداً محسوساً في الميزانية.