CyberSecQwen-4B: como um modelo pequeno se tornou especialista em vulnerabilidades

Um modelo estreitamente especializado com 4 bilhões de parâmetros superou modelos de propósito geral com o dobro de parâmetros em tarefas de cibersegurança. Isso inverte a lógica convencional: quanto menos parâmetros, maior a qualidade, desde que o modelo seja adequadamente ajustado para uma tarefa específica. CyberSecQwen-4B é evidência de que na era dos LLMs especializados, o tamanho não determina mais o poder.

Especialização em Vez de Generalidade

No benchmark CTI-MCQ (múltipla escolha no contexto de ameaças cibernéticas), CyberSecQwen-4B alcançou 0.5868, superando um concorrente com 8 bilhões de parâmetros (0.4996). Na tarefa de correspondência de CVE para CWE, o modelo também demonstrou resultados superiores. Essa melhoria é possível porque cada parâmetro é treinado em dados específicos: classificações de vulnerabilidades, mapeamento CVE→CWE e Q&A de ameaças sintéticas. A base é Qwen3-4B-Instruct-2507, com ajuste fino via LoRA (Low-Rank Adaptation) com parâmetros r=64, alpha=64. Isso permitiu treinar o modelo em dados de 2021 sem overfitting, preservando capacidades essenciais.

Implantação Local — A Principal Vantagem

O modelo é executado em uma placa gráfica pessoal com 12 GB de memória. Analistas de SOC e equipes de segurança obtêm uma ferramenta que opera no escritório sem enviar dados para a nuvem:

• Confidencialidade: informações de vulnerabilidades nunca saem da rede da organização
• Custo: compre uma GPU uma vez e use o modelo sem assinaturas de API
• Acessibilidade: funciona em redes air-gapped sem internet
• Velocidade: inferência local é mais rápida que requisições em nuvem

Para implantação, AMD Instinct MI300X, ROCm 7.0 e vLLM 0.10.1 são usados para otimizar a velocidade de inferência. Esta combinação demonstrou os melhores resultados em aceleração de hardware.

O Que Vem Depois

O roadmap inclui uma versão com 1 bilhão de parâmetros para sistemas ainda mais compactos, versões quantizadas GGUF para executar em processadores sem GPUs, e melhorias na robustez adversarial. O time está trabalhando na expansão do dataset para melhor classificação de novos tipos de vulnerabilidades.

O Que Isso Significa

Modelos especializados locais tornarão a análise de segurança acessível para organizações menores e redes isoladas. Não há mais necessidade de escolher entre a versatilidade da nuvem e a segurança do armazenamento local — você pode ter ambas.