JetBrains released Mellum2 — an open 12B MoE model for fast tasks in AI pipelines

JetBrains — компания, создавшая IDE-инструменты IntelliJ IDEA и PyCharm, которыми пользуются десятки миллионов разработчиков — выпустила Mellum2, обновлённую версию своей специализированной языковой модели. Mellum2 работает под лицензией Apache 2.0 и рассчитана на быструю обработку специализированных задач в составе многомодельных AI-пайплайнов. Mellum — собственная линейка языковых моделей JetBrains для задач программирования. Mellum2 — значимое обновление: новая MoE-архитектура, масштабированный объём обучающих данных и чёткое позиционирование как специализированного компонента для многомодельных систем.

Архитектура

MoE и масштаб обучения Mellum2 построена на архитектуре Mixture of Experts (MoE) с 12 миллиардами параметров. В отличие от классических dense-моделей, где при каждом запросе активируются все веса сети, MoE разбивает модель на специализированные «экспертные» блоки и активирует только часть из них в зависимости от типа токена. Это позволяет модели работать быстрее и экономичнее при той же ёмкости. Для предобучения JetBrains использовала корпус из 10,6 триллиона токенов — масштаб, сопоставимый с флагманскими открытыми моделями вроде LLaMA 3 от Meta. Для coding-модели объём данных принципиально важен: чем шире охват языков программирования, фреймворков и технической документации, тем точнее модель справляется с задачами в реальных кодовых базах.

Роль в многомодельных пайплайнах

Mellum2 не претендует на конкуренцию с универсальными ассистентами вроде Claude или GPT. Её проектировали как быстрый специализированный компонент для конкретных шагов в рабочих процессах разработчика: автодополнение кода в реальном времени прямо в IDE быстрый рефакторинг небольших функций и блоков кода классификация запросов и маршрутизация внутри AI-агентов генерация комментариев и inline-документации * выполнение «дешёвых» промежуточных шагов перед передачей задачи более крупной модели Последний сценарий — ключевой. Production AI-системы для разработки всё чаще строятся как «оркестры моделей»: лёгкая быстрая модель обрабатывает рутинные запросы с минимальной задержкой, тяжёлая флагманская подключается только для сложных задач, требующих глубокого рассуждения. Mellum2 создана именно для роли быстрого специалиста в таких конвейерах.

Открытая лицензия Apache 2.0 Apache 2.0 — одна из наиболее либеральных открытых лицензий.

Mellum2 можно встраивать в закрытые корпоративные продукты, дообучать на проприетарных данных и использовать в коммерческих сервисах без уплаты роялти JetBrains. Компания публикует веса модели в открытом доступе. Среди coding-моделей с открытыми весами существует заметная конкуренция: Code Llama от Meta, DeepSeek-Coder, StarCoder, Qwen2.5-Coder. Mellum2 входит в это пространство с конкретным позиционированием — глубокая интеграция в IDE-экосистему JetBrains и роль специализированного компонента в многоэтапных пайплайнах, а не попытка обогнать флагманов по общим бенчмаркам кодогенерации.

Что это значит

Mellum2 — свидетельство важного тренда: компании, создающие инструменты для разработчиков, перестают покупать AI у внешних провайдеров и начинают обучать собственные специализированные модели под конкретные сценарии своих пользователей. JetBrains делает ставку на то, что глубокая интеграция с IDE и отраслевая специализация важнее абстрактного превосходства в универсальных бенчмарках. Для разработчика это означает более быстрые AI-подсказки прямо в привычном редакторе — без задержек облачного API и без необходимости отправлять собственный код на сторонние серверы. *Meta признана экстремистской организацией и запрещена в РФ.