Gemini 4 Carbon تحقق 40% في FrontierCode 2.0 من Cognition بتكلفة $4,04 للمهمة

نشر فريق Cognition، الذي يطوّر مهندس الذكاء الاصطناعي Devin، على منصة X أولى نتائج Gemini 4 Carbon وGemini 4 Argon على بنشمارك FrontierCode 2.0 الخاص به. ووفق وصف مطوري الاختبار، فإنه يقيس قدرة النموذج على تجاوز نطاق المواصفات، أي أن يفعل أكثر مما هو مكتوب صراحةً في المهمة. حققت Gemini 4 Carbon نسبة 40% بتكلفة $4,04 للمهمة. وتصف Cognition ذلك بأنه نتيجة قريبة من SOTA، لكنها تقر بأن النموذج يأتي خلف Claude Opus 5.5 وGPT-6 Astra ونموذج آخر من Claude.

ما المعروف عن Gemini 4 Carbon وArgon

لا يتضمن المنشور سوى القليل من المعلومات، ولذلك ينبغي سرد الأرقام بدقة. حققت Gemini 4 Carbon نسبة 40% في FrontierCode 2.0. وبلغ متوسط تكلفة حل المهمة الواحدة $4,04. وفي الترتيب يتقدم عليها كل من Claude Opus 5.5 وGPT-6 Astra ونموذج آخر من عائلة Claude. اسم هذا النموذج مقتطع في نص المنشور، ولذلك لا يمكن تحديد مكان Carbon الدقيق في الجدول؛ المعروف فقط أنها تأتي خلف ثلاثة نماذج.

أما النموذج الثاني، Gemini 4 Argon، فلا يذكر نص المنشور له أي نتيجة ولا تكلفة. تفيد Cognition بأن النموذجين خضعا للاختبار، لكنها تورد الأرقام لـ Carbon فقط. وغالبًا توجد الصورة الكاملة في صورة أو جدول مرفق غير متاح في مادتنا. لذلك لا يمكن المقارنة بين Carbon وArgon استنادًا إلى منشور واحد.

لماذا يُختبر النموذج على تجاوز نطاق المواصفات

تتحقق معظم اختبارات البرمجة الشائعة مما إذا كان النموذج ينفذ مهمة واضحة: يصلح خللًا أو يجتاز اختبارات مكتوبة مسبقًا. أما في التطوير الفعلي فتكون صياغة المهمة ناقصة في الغالب. المهندس الجيد يلاحظ الحالات الحدية المغفلة، وينسّق الواجهات مع بقية الشيفرة، ولا يكسر ما لم يرد ذكره في التذكرة. وهذه القدرة تحديدًا يحاول FrontierCode 2.0 قياسها، بحسب Cognition.

بالنسبة للشركة، هذا سؤال عملي. يعمل Devin على مهام من مستودعات حقيقية نادرًا ما تكون مواصفاتها شاملة. والبنشمارك الذي يميّز النموذج الذي يلتزم بحرفية النص عن النموذج الذي يفهم المقصد يساعد في اختيار الشبكة العصبية التي تُبنى عليها المنظومة الوكيلة. ومن المهم هنا تذكّر أن Cognition نفسها هي التي نشرت المنهجية ومجموعة المهام، وليس مختبرًا مستقلًا. فالبنشمارك مصمم وفق سيناريوهاتها، ولذلك لا ينبغي نقل النتيجة إلى أي بيئة تقنية أخرى دون التحقق.

كيف نقرأ معادلة «40% و$4,04»

لا يقول الرقم 40% وحده الكثير، فهو يعتمد على صعوبة مجموعة المهام. وإذا كان FrontierCode 2.0 صعبًا عن قصد، فقد تكون نسبة 40% مؤشرًا قويًا، وهذا ما توحي به عبارة «قريبة من SOTA». والأجدى النظر إلى الجودة مع التكلفة. في تقدير تقريبي، تعني $4,04 للمحاولة الواحدة مع 40% من المحاولات الناجحة نحو $10 للمهمة الواحدة المحلولة. وهذا تقدير من هيئة التحرير وليس تصريحًا من Cognition. ويفترض هذا التقدير أن التكلفة متقاربة في جميع المهام، بينما تكون المحاولات الفاشلة في الواقع أغلى في أحيان كثيرة.

أما الفرق التي تختار نموذجًا للبرمجة الوكيلة، فيترتب على ذلك عدة أمور عملية:

• من المنطقي إدراج Gemini 4 Carbon في المقارنة إلى جانب Claude Opus 5.5 وGPT-6 Astra، خصوصًا إذا كانت تكلفة التشغيل مهمة.
• لا يورد المنشور أرقام Claude Opus 5.5 وGPT-6 Astra، ولذلك لا يمكن من النص تقدير الفارق في النقاط ولا في الدولارات.
• لتجنب الاعتماد على بنشمارك طرف آخر، شغّلوا النماذج على 20–30 مهمة خاصة بكم من قائمة المهام المتراكمة الفعلية، واحسبوا تكلفة المهمة المحلولة لا تكلفة المحاولة.

الحصيلة متواضعة لكنها مفيدة. فمع Gemini 4 Carbon تدخل Google ضمن مجموعة النماذج المنافسة في البرمجة الوكيلة، غير أن الصدارة في هذا الاختبار ما زالت لـ Anthropic وOpenAI. ويمكن استخلاص النتائج النهائية بعد نشر الجدول الكامل، بما في ذلك نتيجة Gemini 4 Argon وتكلفة بقية النماذج.