CyberSecQwen-4B : comment un petit modèle est devenu un expert des vulnérabilités

Un modèle étroitement spécialisé avec 4 milliards de paramètres a surpassé les modèles polyvalents ayant deux fois plus de paramètres sur les tâches de cybersécurité. Cela inverse la logique conventionnelle : moins de paramètres signifie une qualité plus élevée, à condition que le modèle soit correctement adapté à une tâche spécifique. CyberSecQwen-4B témoigne que dans l'ère des LLMs spécialisés, la taille ne détermine plus la puissance.

Spécialisation au Lieu de Généralité

Sur le benchmark CTI-MCQ (choix multiple dans le contexte des menaces cybernétiques), CyberSecQwen-4B a atteint 0.5868, surpassant un concurrent avec 8 milliards de paramètres (0.4996). Sur la tâche de correspondance CVE vers CWE, le modèle a également démontré des résultats supérieurs. Cette amélioration est possible car chaque paramètre est entraîné sur des données spécifiques : classifications des vulnérabilités, mappage CVE→CWE et Q&A de menaces synthétiques. La base est Qwen3-4B-Instruct-2507, avec un ajustement fin via LoRA (Low-Rank Adaptation) avec les paramètres r=64, alpha=64. Cela a permis d'entraîner le modèle sur des données de 2021 sans surapprentissage, tout en préservant les capacités essentielles.

Déploiement Local — L'Avantage Principal

Le modèle s'exécute sur une carte graphique personnelle avec 12 GB de mémoire. Les analystes SOC et les équipes de sécurité obtiennent un outil qui fonctionne au bureau sans envoyer les données vers le cloud :

• Confidentialité : les informations sur les vulnérabilités ne quittent jamais le réseau de l'organisation
• Coût : achetez un GPU une fois et utilisez le modèle sans abonnements à l'API
• Accessibilité : fonctionne sur les réseaux air-gapped sans internet
• Vitesse : l'inférence locale est plus rapide que les requêtes cloud

Pour le déploiement, AMD Instinct MI300X, ROCm 7.0 et vLLM 0.10.1 sont utilisés pour optimiser la vitesse d'inférence. Cette combinaison a démontré les meilleurs résultats sur l'accélération matérielle.

Ce Qui Vient Ensuite

La feuille de route inclut une version avec 1 milliard de paramètres pour des systèmes encore plus compacts, des versions quantifiées GGUF pour s'exécuter sur des processeurs sans GPU, et des améliorations de la robustesse adversariale. L'équipe travaille sur l'expansion du dataset pour une meilleure classification des nouveaux types de vulnérabilités.

Ce Que Cela Signifie

Les modèles spécialisés locaux rendront l'analyse de sécurité accessible aux petites organisations et aux réseaux isolés. Il n'est plus nécessaire de choisir entre la polyvalence du cloud et la sécurité du stockage local — vous pouvez avoir les deux.