GPT-6.1 Sol في Devin يحقق 60.4% على FrontierCode بتكلفة $0.31 للمهمة

أطلقت OpenAI نموذج GPT-6.1 Sol، وأضافته Devin في يوم الإطلاق نفسه: النموذج متاح في Devin Desktop وDevin CLI. وعلى FrontierCode 1.1، وهو اختبار أعدّه فريق Windsurf بنفسه، يحقق النموذج 60.4%. أما GPT-6 Sol فيحصل على 60.7%، وGPT-5.6 Sol على 60.6%. الفارق في الجودة يقع ضمن حدود الضجيج الإحصائي، لكن تكلفة المهمة انخفضت انخفاضًا كبيرًا: عند المستوى المتوسط من reasoning effort تبلغ تكلفة GPT-6.1 Sol مبلغ $0.31، بينما ينفق GPT-6 Sol مبلغ $1.66 عند المستوى الأقصى للوصول إلى أفضل نتيجة له. أي إن التوفير يبلغ 81%.

النتيجة نفسها بفاتورة مختلفة

يقيّم FrontierCode 1.1 النماذج على مهام هندسية حقيقية وفق معيارين: جودة الحل، وقابلية الدمج (mergeability)، أي إمكانية قبول التغييرات في قاعدة الشيفرة دون إعادة كتابتها. وهذا أقرب إلى العمل اليومي للمطوّر من الاختبارات الكلاسيكية التي تكتفي بسؤال «حُلّت المهمة أم لم تُحلّ».

وفق بيانات Windsurf، تبدو الصورة في مختلف الأوضاع على النحو التالي:

• GPT-6.1 Sol، النتيجة الإجمالية: 60.4% مقابل 60.7% لـ GPT-6 Sol و60.6% لـ GPT-5.6 Sol.
• المستوى المتوسط من الجهد: $0.31 للمهمة.
• الحد الأقصى لدى GPT-6 Sol: $1.66 للمهمة للوصول إلى أفضل نتيجة.
• التوفير عند كل مستوى من مستويات الجهد: من 44% إلى 57% مقارنة بـ GPT-6 Sol، مع نتيجة ضمن نقطة واحدة أو أعلى.
• المستوى المنخفض من الجهد: 58.1% بتكلفة $0.21 مقابل 50.5% لـ GPT-6 Sol بالإعدادات نفسها.

التحول الأهم في أسفل المقياس

لم يرفع النموذج الجديد سقف الجودة، وهذا واضح من الأرقام. الأكثر إثارة للاهتمام هو الجزء السفلي من المنحنى. فعند المستوى المنخفض من الجهد يضيف GPT-6.1 Sol 7.6 نقطة مقارنة بـ GPT-6 Sol: من 50.5% إلى 58.1%. ومع ذلك تبقى التكلفة عند $0.21 للمهمة. وبحسب لوحة المتصدرين في FrontierCode، هذه أفضل نتيجة بين جميع النماذج التي تقل تكلفتها عن $0.30 للمهمة.

وهذا مهم في السيناريوهات القائمة على الوكلاء (agents). فعندما يعمل الوكيل مئات المرات يوميًا على مهام صغيرة مثل تعديل الاختبارات أو إعادة الهيكلة أو تحديث الاعتماديات، يتحول الفارق بين $0.21 و$1.66 إلى بند ملحوظ في الميزانية. والآن يمكن الحصول بهذا السعر على نتيجة كانت تتطلب سابقًا الوضع الأقصى.

الموقع على الخريطة العامة

لم يصبح GPT-6.1 Sol المتصدر المطلق. فعلى لوحة المتصدرين يتقدم عليه كل من Claude Opus 5.5 (65.3%)، وClaude Fable 5 (64.9%)، وGPT-6 Astra (64.5%)، وClaude Sonnet 5.5 (64.4%)، وClaude Fable 5.1 (63.6%)، وSWE-2 (62.5%)، وGrok 4.6 (61.3%). ويأتي دونه Grok 4.7 بنسبة 59.4%. وينقصه 4.9 نقطة للوصول إلى الصدارة. لكن في الرسم البياني «السعر مقابل الجودة» يقع النموذج في الزاوية السفلية اليسرى: تمتد الأسعار على المحور من $0.25 إلى $5 لكل rollout، وفي المنطقة الرخيصة لا يكاد GPT-6.1 Sol يواجه منافسين.

والتحفظ هنا واضح: FrontierCode اختبار خاص بـ Windsurf نفسها، والأرقام منشورة في مدونة الشركة التي تبيع الوصول إلى النماذج. ولا يتضمن المصدر أي تحقق مستقل. لكن المنهجية التي تقيّم صلاحية الشيفرة للدمج تبدو أكثر منطقية من كثير من الاختبارات العامة.

كيف يُستخدم النموذج عمليًا

يحسن بالفرق التي تعمل في Devin بالفعل أن تجرّب على GPT-6.1 Sol مهامها المعتادة عند المستوى المتوسط من الجهد، وأن تقارن النتائج بإعداداتها الحالية. فبحسب أرقام Windsurf، الخسارة في الجودة ضئيلة، بينما تنخفض التكلفة أضعافًا. وبالنسبة إلى المهام الصغيرة الكثيرة، يستحق الوضع المنخفض الاختبار: فنتيجة 58.1% بتكلفة $0.21 تغطي جزءًا كبيرًا من العمل الروتيني. أما المستويات القصوى والنماذج العليا مثل Claude Opus 5.5 فمن الأفضل إبقاؤها للمهام المعقدة، حيث تهم آخر نقاط الجودة ويبرّر مكسبها كلفتها. وقبل تحويل التدفق كله إلى النموذج الجديد، من المفيد تكوين عيّنة خاصة من التذاكر الفعلية، لأن النتيجة على اختبار مغلق لا تضمن السلوك نفسه على قاعدة الشيفرة لديكم.