JetBrains publie Mellum2, un modèle MoE ouvert de 12 milliards de paramètres pour les tâches rapides dans les pipelines d'IA

JetBrains, l'éditeur des IDE IntelliJ IDEA et PyCharm, utilisés par des dizaines de millions de développeurs, a publié Mellum2, une version mise à jour de son modèle de langage spécialisé. Mellum2 est distribué sous licence Apache 2.0 et vise le traitement rapide de tâches spécialisées au sein de pipelines d'IA multi-modèles. Mellum est la gamme maison de modèles de langage de JetBrains pour la programmation. Mellum2 en est une mise à jour majeure : nouvelle architecture MoE, volume de données d'entraînement accru et positionnement clair comme composant spécialisé pour les systèmes multi-modèles.

Architecture MoE et échelle d'entraînement

Mellum2 repose sur une architecture Mixture of Experts (MoE) de 12 milliards de paramètres. Contrairement aux modèles denses classiques, où tous les poids du réseau sont activés à chaque requête, le MoE découpe le modèle en blocs « experts » spécialisés et n'en active qu'une partie selon le type de token. Le modèle gagne ainsi en vitesse et en économie à capacité égale.

Pour le pré-entraînement, JetBrains a utilisé un corpus de 10,6 billions de tokens, une échelle comparable à celle de modèles ouverts phares comme LLaMA 3 de Meta*. Pour un modèle de code, le volume de données est déterminant : plus la couverture des langages de programmation, des frameworks et de la documentation technique est large, plus le modèle est précis sur de vraies bases de code.

Un rôle dans les pipelines multi-modèles

Mellum2 ne cherche pas à rivaliser avec les assistants généralistes comme Claude ou GPT. Il a été conçu comme un composant rapide et spécialisé pour des étapes précises du travail des développeurs :

• complétion de code en temps réel directement dans l'IDE
• refactorisation rapide de petites fonctions et de blocs de code
• classification des requêtes et routage au sein des agents d'IA
• génération de commentaires et de documentation inline
• étapes intermédiaires « bon marché » avant de confier la tâche à un modèle plus gros

Ce dernier scénario est le principal. Les systèmes d'IA de production pour le développement prennent de plus en plus la forme d'« orchestres de modèles » : un modèle léger et rapide traite les requêtes courantes avec une latence minimale, et le modèle phare, plus lourd, n'intervient que pour les tâches complexes qui exigent un raisonnement poussé. Mellum2 est conçu précisément pour jouer ce rôle de spécialiste rapide dans ces pipelines.

Licence ouverte Apache 2.0

Apache 2.0 est l'une des licences ouvertes les plus libérales. Mellum2 peut être intégré à des produits d'entreprise fermés, affiné sur des données propriétaires et utilisé dans des services commerciaux sans verser de redevances à JetBrains. L'entreprise publie les poids du modèle en accès libre.

Les modèles de code à poids ouverts se livrent déjà une concurrence notable : Code Llama de Meta*, DeepSeek-Coder, StarCoder, Qwen2.5-Coder. Mellum2 arrive sur ce terrain avec un positionnement précis : une intégration poussée à l'écosystème d'IDE de JetBrains et un rôle de composant spécialisé dans des pipelines à plusieurs étapes, et non une tentative de battre les modèles phares sur les benchmarks généraux de génération de code.

Ce que cela signifie

Mellum2 illustre une tendance importante : les éditeurs d'outils pour développeurs cessent d'acheter de l'IA à des fournisseurs externes et commencent à entraîner leurs propres modèles spécialisés pour les scénarios précis de leurs utilisateurs. JetBrains parie que l'intégration poussée à l'IDE et la spécialisation sectorielle comptent plus qu'une supériorité abstraite sur des benchmarks généralistes.

Pour le développeur, cela se traduit par des suggestions d'IA plus rapides dans son éditeur habituel, sans la latence d'une API cloud et sans devoir envoyer son propre code à des serveurs tiers.

*Meta a été déclarée organisation extrémiste et est interdite en Russie.