CyberSecQwen-4B: как маленькая модель стала экспертом по уязвимостям
Alibaba выпустила CyberSecQwen-4B — модель с 4 млрд параметров, которая обыгрывает в угрозах и уязвимостях 8-миллиардные универсальные модели. Работает на локал
Узкоспециализированная модель с 4 миллиардами параметров смогла превзойти универсальные модели с вдвое большим количеством параметров на задачах кибербезопасности. Это переворачивает привычную логику: чем меньше параметров, тем выше качество, если модель правильно настроена под конкретную задачу. CyberSecQwen-4B — свидетельство того, что в эпоху специализированных LLM размер уже не определяет мощь.
Специализация вместо универсальности
На бенчмарке CTI-MCQ (множественный выбор в контексте киберугроз) CyberSecQwen-4B достигла 0.5868, обойдя конкурента с 8 млрд параметров (0.4996). По задаче сопоставления CVE с CWE модель также показала лучший результат. Такой прирост возможен, потому что каждый параметр её обучен на специфичных данных: классификациях уязвимостей, картировании CVE→CWE, синтетических Q&A про угрозы. Основой служит Qwen3-4B-Instruct-2507, а тонкая настройка — LoRA (Low-Rank Adaptation) с параметрами r=64, alpha=64. Это позволило обучить модель на данных 2021 года без переобучения, сохраняя базовые навыки.
Локальное развёртывание — главное преимущество
Модель запускается на персональной видеокарте с 12 ГБ памяти. Аналитики SOC и команды безопасности получают инструмент, который работает российском офисе без отправки данных в облако: Конфиденциальность: информация об уязвимостях не покидает сеть организации Стоимость: один раз купил GPU — и моделью пользуются без подписки на API Доступность: работает в air-gapped сетях, без интернета Скорость: локальный вывод быстрее облачных запросов Для развёртывания используются AMD Instinct MI300X, ROCm 7.0 и vLLM 0.10.1 для оптимизации скорости инференса. Это сочетание показало наилучшие результаты на аппаратном ускорении.
Что ждёт дальше
Дорожная карта включает версию на 1 миллиард параметров для ещё более компактных систем, квантованные релизы GGUF для запуска на процессорах без GPU, а также улучшение устойчивости к adversarial-примерам. Команда работает над расширением датасета для лучшей классификации новых типов уязвимостей.
Что это значит
Локальные специализированные модели сделают аналитику безопасности доступнее для малых организаций и изолированных сетей. Уже не нужно выбирать между универсальностью облака и безопасностью локального хранилища — можно иметь оба.