CyberSecQwen-4B: كيف أصبح نموذج صغير خبيرًا في الثغرات

نموذج متخصص بشكل ضيق يحتوي على 4 مليارات معامل تفوق على نماذج الأغراض العامة التي تحتوي على ضعف عدد المعاملات في مهام الأمن السيبراني. وهذا ينقض المنطق التقليدي: كلما قل عدد المعاملات، ارتفعت الجودة، بشرط أن يتم ضبط النموذج بشكل صحيح لمهمة محددة. CyberSecQwen-4B دليل على أنه في عصر نماذج اللغة الكبيرة المتخصصة، لا يحدد الحجم الآن القوة.

التخصص بدلاً من العمومية

على معيار CTI-MCQ (الخيار المتعدد في سياق التهديدات السيبرانية)، حققت CyberSecQwen-4B قيمة 0.5868، متفوقة على منافس بـ 8 مليارات معامل (0.4996). في مهمة مطابقة CVE مع CWE، أظهر النموذج أيضاً نتائج متفوقة. هذا التحسن ممكن لأن كل معامل يتم تدريبه على بيانات محددة: تصنيفات الثغرات، خريطة CVE→CWE، وأسئلة وأجوبة تهديدات اصطناعية. الأساس هو Qwen3-4B-Instruct-2507، مع الضبط الدقيق عبر LoRA (Low-Rank Adaptation) مع معاملات r=64، alpha=64. هذا سمح بتدريب النموذج على بيانات 2021 دون الإفراط في التدريب، مع الحفاظ على القدرات الأساسية.

النشر المحلي — الميزة الرئيسية

يعمل النموذج على بطاقة رسومات شخصية بذاكرة 12 جيجابايت. يحصل محللو SOC وفرق الأمن على أداة تعمل في المكتب دون إرسال البيانات إلى السحابة:

• السرية: معلومات الثغرات لا تترك شبكة المؤسسة أبداً
• التكلفة: اشترِ وحدة معالجة رسومات مرة واحدة واستخدم النموذج بدون اشتراكات API
• الإمكانية الوصول: يعمل على الشبكات المعزولة بدون إنترنت
• السرعة: الاستدلال المحلي أسرع من طلبات السحابة

للنشر، يتم استخدام AMD Instinct MI300X و ROCm 7.0 و vLLM 0.10.1 لتحسين سرعة الاستدلال. أظهرت هذه المجموعة أفضل النتائج على تسريع الأجهزة.

ماذا يأتي بعد ذلك

تتضمن خريطة الطريق نسخة بمليار معامل لأنظمة أكثر إحكاماً، إصدارات مكممة GGUF للتشغيل على معالجات بدون وحدات معالجة رسومات، وتحسينات على الثبات ضد الأمثلة الخصومية. يعمل الفريق على توسيع مجموعة البيانات لتصنيف أفضل لأنواع الثغرات الجديدة.

ما يعنيه هذا

ستجعل النماذج المتخصصة المحلية تحليل الأمان في متناول المنظمات الصغيرة والشبكات المعزولة. لا توجد حاجة بعد الآن للاختيار بين تعدد الاستخدامات السحابية وأمان التخزين المحلي — يمكنك الحصول على كليهما.