Positive Technologies تستعرض أفضل المعايير المرجعية لتقييم نماذج LLM في الأمن السيبراني

أصدرت Positive Technologies تحليلًا مفصلًا للمعايير المرجعية المفتوحة (benchmarks) المستخدمة في تقييم نماذج اللغة الكبيرة في مهام الأمن السيبراني، وخلصت إلى نتيجة بسيطة: لم يعد لاختبار نماذج LLM على معرفة المصطلحات والمعايير وثغرات CVE وحدها أي جدوى تقريبًا. ففي هذا المجال تتفوق على البشر باستمرار حتى النماذج الأصغر حجمًا نسبيًا، بينما يظهر الفارق الحقيقي بين الأنظمة في المهام التي لا يكفي فيها استحضار التعريفات، بل يجب التصرف: التحقيق في الحوادث، وحل مسائل CTF، والبحث عن الثغرات، وكتابة الرقع.

ويقترح كاتب المراجعة تقسيم هذه الاختبارات إلى فئتين. الأولى هي المعايير الموسوعية، حيث تجيب النماذج عن أسئلة في التشفير وأمن الشبكات والامتثال (compliance) وإطار MITRE ATT&CK وثغرات CVE ومواضيع أخرى. والثانية هي معايير المهارات، أو معايير action، حيث يُنتظر من النموذج نتيجة عملية.

أوضح مثال على الفئة الأولى هو CyberMetric. يضم هذا المعيار 10 آلاف سؤال موزعة على سبعة مجالات، وقد سجّلت فيه حتى نماذج قديمة بمستوى gpt-3.5-turbo نحو 85%، في حين سجّل المتخصصون أصحاب الخبرة قرابة 75%. وبحسب تقدير الكاتب، تقتصر فائدة هذا الاختبار اليوم في الأساس على النماذج الصغيرة، والتكميم (quantization) الخاص بمجال معين، وسيناريوهات الفحص السريع (sanity-check).

أما SECURE، المبني على مواد MITRE ATT&CK وCVE وCWE وCISA، فتركيبته أكثر تعقيدًا بعض الشيء. فهو لا يختبر معرفة الوقائع فحسب، بل يقيس أيضًا القدرة على تقييم المخاطر، والحكم على صحة العبارات المتعلقة بثغرات محددة، وحساب مقياس CVSS.

ويضع التحليل AthenaBench في مرتبة أعلى من حيث القيمة العملية، وهو نسخة محدّثة من المعيار الشهير CTIBench لمهام استخبارات التهديدات السيبرانية (cyber threat intelligence). يختبر هذا المعيار قدرة النموذج على استخراج تقنيات الهجوم، والربط بين CVE وCWE، وتوقّع درجة الخطورة (severity)، واقتراح استراتيجية لخفض المخاطر. وتصدّر القائمة GPT-5 بنتيجة 66,1%، وأضاف إليه تفعيل البحث على الويب تحسّنًا إضافيًا في السيناريوهات المعقدة. وهذه ملاحظة مهمة: فحتى النماذج القوية تحتاج إلى سياق خارجي، وهذا النمط في الأمن التطبيقي أقرب إلى عمل المحلل الحقيقي من اختبار offline خالص.

وفي فئة action، يبرز الكاتب CyBench بوصفه أحد أقوى الاختبارات المفتوحة. فهو ينشر مهام CTF كاملة في بيئة معزولة، ولا يقيّم العلم النهائي (flag) فحسب، بل يقيس أيضًا مدى اقتراب الوكيل من الحل الصحيح. وفي لوحة المتصدرين المفتوحة وقت إعداد المراجعة، تصدّر Claude Opus 4.6 بنتيجة 93%، يليه Claude 4.5 Sonnet ثم Grok 4. والمهم ليس النتيجة المطلقة وحدها، بل سرعة التقدم أيضًا: ففي بضعة أجيال فقط من النماذج ارتفعت نسبة المهام المحلولة من نحو 20% إلى أكثر من 80%. لم يعد هذا استعراضًا لقدرات عامة، بل إشارة إلى أن وكلاء LLM بدأوا يدخلون نطاق الفائدة العملية في سيناريوهات الهجوم (offensive) والبحث.

ولتقييم الفائدة التطبيقية في مجال الثغرات، يوصي الكاتب بشكل منفصل بـ BountyBench. تُقاس المهام فيه بالقيمة المحتملة على منصات مكافآت اكتشاف الثغرات: يجب على النموذج أن يجد الثغرة، ويبني الاستغلال (exploit) أو يكتب الرقعة، فيما يحتسب الباحثون بالتوازي اقتصاديات التشغيل بالتوكنات. ويتضح من هذه العينة أن الترقيع أسهل على نماذج LLM من اكتشاف الأخطاء البرمجية نفسها.

ويقترب ExCyTIn-Bench أكثر من الدفاع الفعلي، إذ يحصل الوكيل على إمكانية الوصول إلى السجلات (logs) ويحقق في الهجوم خطوة بخطوة عبر استعلامات SQL. وتصدّر هذا المعيار Claude Opus 4.5 وGPT-5.1 وGPT-5، لكن الأهم أمر آخر: فبنية الوكيل وأنماط مثل ReAct ترفع النتيجة بوضوح حتى لدى النماذج الأضعف. بعبارة أخرى، في مهام مراكز العمليات الأمنية (SOC) لا يحسم النتيجة النموذج الأساسي وحده، بل أيضًا الكيفية التي يُبنى بها مسار العمل من حوله.

ومع ذلك، لا تحاول المراجعة تصوير السوق على أنه منظومة منظمة وناضجة. بل على العكس، فإحدى الانتقادات الرئيسية هي الفوضى في مشهد المعايير ذاته. فبعض مجموعات البيانات تتقادم سريعًا، وبعضها الآخر شديد الارتباط بلغة بعينها أو بجمهور بعينه، مثل SecBench ذي الانحياز الصيني الواضح، وبعضها يعاني من ضعف إعداد المواد المصدرية. ويُضرب CyberSOCEval مثالًا على هذا النهج المثير للجدل: فبوصفه معيارًا متكاملًا يبدو غير مقنع، مع أن الجزء المتعلق بآثار البرمجيات الخبيثة الحقيقية في بيئات sandbox قد يكون مفيدًا كمجموعة بيانات لفرق EDR ومكافحة الفيروسات والتحليل.

والخلاصة العملية من المراجعة هي التالية: إذا كانت الحاجة إلى مقارنة سريعة وواضحة لنماذج LLM في الأمن السيبراني، فينبغي تكوين الحد الأدنى من المعايير من CyberMetric وAthenaBench لاختبار المعرفة، وCyBench وExCyTIn-Bench لتقييم المهارات العملية، وBountyBench عندما يكون الأثر الاقتصادي مهمًا. لقد حدث التحول الرئيسي في الإطار بالفعل: لم يعد السؤال ما إذا كان النموذج يعرف الأساسيات الواردة في الكتب الدراسية، بل إلى أي مدى يُحسن العمل في بيئة تضم سجلات مشوّشة وهجمات متعددة الخطوات وبيانات ملتبسة وكلفة للخطأ. وهناك بالتحديد ستتحدد القيمة الحقيقية لنماذج LLM في الأمن السيبراني.