Devin Security تحصل على Claude Mythos 5.2: 73.5 نقطة مقابل 32.7 لـ Opus 5.5

البحث عن الثغرات في قاعدة شيفرة ضخمة يشبه تنظيف شقة يُدخل إليها صاحبها كل يوم أغراضًا جديدة. أدوات التحليل الساكن تُصدر ضجيجًا، واختبار الاختراق يُجرى مرة كل ربع سنة، وفريق الأمن لديه دائمًا طابور من مئة تذكرة. تقترح Cognition تسريع هذه العملية بنموذج: أصبح Claude Mythos 5.2 متاحًا الآن في Devin Security.

ما الذي أُطلق بالضبط

Devin Security خدمة فحص مُدارة. تعمل في داخلها نماذج «متقدمة» للأمن السيبراني، لكن فريق الأمن لا يحتاج إلى وصول منفصل إليها. تقدّم المستودع، فيُشغّل Devin الفحص ويعيد النتائج. وMythos 5.2 غير متاح للجميع بعد: فقط للعملاء المؤسسيين المؤهَّلين، أما الآخرون فيُعرض عليهم تقديم طلب.

وتعد Cognition على حدة برصيد لفحوصات مجانية. في موضع من المنشور يُذكر مبلغ يتجاوز 100 مليون دولار، وفي موضع آخر «مئات الملايين من الدولارات» من أرصدة Devin. وليس واضحًا كيف يتّسق الرقمان، لذا انظروا إلى شروط الطلب لا إلى العناوين. كما لا تكشف الشركة معايير الاختيار.

ما الذي أظهره الاختبار

أجرت Cognition الاختبار على مجموعة داخلية من 25 مستودعًا بلغات C وPython وGo وPHP وTypeScript. ومن بين الأطر: Django وFlask وLaravel وNext.js. كل مستودع مثبّت عند commit لم تُصلَح فيه الثغرات المعروفة علنًا بعد. وعددها الإجمالي 1781.

سابقًا كان الاختبار يتحقق من أمر واحد: هل عثر Devin على خطأ واحد محدد مسبقًا. أما الآن ففي كل مستودع أخطاء كثيرة، ولذلك يمكن قياس الدقة أيضًا — أي نسبة النتائج الحقيقية. والمقياس النهائي هو F2 على مقياس من 0 إلى 100. وهو يراعي الاسترجاع (كم ثغرة معروفة وُجدت) والدقة معًا، لكنه يمنح الاسترجاع وزنًا أكبر. وشُغّل كل نموذج ثلاث مرات على كل مستودع وأُخذ المتوسط.

النتائج:

• Claude Mythos 5.2 — 73.5
• Claude Mythos 5.1 — 56.9
• Claude Opus 5.5 — 32.7

الزيادة عن الإصدار السابق من Mythos نحو 29%. أما Opus 5.5 فيتأخر بأكثر من الضعف. وهذه قفزة كبيرة داخل جيل واحد من النماذج.

لماذا يجب التعامل مع الأرقام بتحفظ

أولًا، الاختبار داخلي، وقد حسبه بائع الخدمة نفسه. لا يوجد تكرار مستقل للنتائج، ومجموعة البيانات نفسها غير منشورة.

ثانيًا، اختيرت ثغرات سبق الإبلاغ عنها علنًا. وربما صادف النموذج أوصافها أو رقعها في بيانات التدريب. المنشور لا يناقش ذلك، وهذا تخميني الشخصي، لكن هذا التسرب جدير بالفحص. فالعثور على أخطاء معروفة أسهل من العثور على أخطاء مجهولة في شيفرتكم المغلقة.

ثالثًا، يكافئ F2 الاسترجاع. ومنطق ذلك مفهوم في الأمن: الثغرة الفائتة أغلى من فحص زائد. لكن للإيجابيات الكاذبة ثمنًا، ويدفعه فريق المراجعة لديكم. والدرجة الإجمالية الواحدة لا تُظهر كم من الضجيج ستضطرون إلى قراءته يدويًا. من الجيد أن Cognition أدخلت الدقة (precision) في الحساب، لكن هذه الأرقام لم تُعرض منفصلة في المنشور.

ماذا تفعل عمليًا

إذا كنتم في قطاع المؤسسات وتتولون الأمن، فقدّموا طلبًا. الأرصدة المجانية فرصة لتجربة الخدمة دون ميزانية لمشروع تجريبي.

لا تقيّموا النتيجة بدرجة واحدة. خذوا مستودعين أو ثلاثة من مستودعاتكم فيها أخطاء معروفة سبق إصلاحها، واحسبوا أمرين: كم منها وجده الفحص، وأي نسبة من التقرير اضطررتم إلى استبعادها بوصفها ضجيجًا. الرقم الثاني يكشف كلفة المراجعة.

اعرفوا مسبقًا أين تذهب الشيفرة: كيف تُخزَّن البيانات، ومن يطّلع على التقارير، وماذا يحدث لها بعد الفحص. وهذا في المستودعات المغلقة أهم من فارق النقاط.

ولا تلغوا اختبار الاختراق. النموذج الذي يجد فئات أكثر من الأخطاء المعروفة طبقة إضافية مفيدة. لكن ثغرات منطق الأعمال وسلاسل الهجوم غير البديهية لم يختبرها هذا المقياس.

الخلاصة الرئيسية: صيغة «نموذج + خدمة مُدارة» أصبحت أرخص بوضوح للمدافعين. ويبقى السؤال: إلى أي حد ستتحول 73.5 نقطة في اختبار أجراه غيركم إلى نتائج في شيفرتكم؟ يمكن التحقق من ذلك خلال أسبوعين، ما دامت الأرصدة تُوزَّع.