IQuest-Q1 : un modèle MoE ouvert de 320 milliards de paramètres pour le codage agentique en CLI

IQuest-Q1 est un nouveau modèle ouvert destiné aux systèmes agentiques en ligne de commande. Il s'agit d'un Mixture-of-Experts parcimonieux de 320 milliards de paramètres, dont 15 milliards sont activés pour chaque token, soit moins de 5% des poids. Les auteurs décrivent un parcours en trois étapes : pré-entraînement, entraînement intermédiaire (mid-training) et post-entraînement sur plusieurs scaffolds. Ils obtiennent le modèle final en fusionnant des experts et des checkpoints issus de différentes étapes. Le modèle est présenté comme performant à la fois en codage et sur les tâches générales, et ses poids sont publiés en accès libre.

Pré-entraînement : comment rester stable à 320 milliards de paramètres

La première étape porte sur un point peu spectaculaire mais décisif : permettre à un énorme modèle MoE d'apprendre sans décrochage. L'équipe combine trois techniques. Stable SplitNorm assure la stabilité de l'entraînement, l'optimiseur Muon l'efficacité de chaque pas, et muP, une paramétrisation qui transfère les hyperparamètres d'une échelle à l'autre, permet de régler les paramètres sur de petits modèles au lieu de tâtonner sur le grand.

Les auteurs présentent comme principal résultat de cette combinaison une large marge de stabilité entre un learning rate sûr et un learning rate optimal. L'écart est généralement étroit : dès que l'on dépasse un peu l'optimum, la loss part sur une trajectoire divergente. Plus cette marge est large, moins une erreur de réglage coûte cher, et sur un modèle de cette taille, chaque redémarrage est onéreux.

Le curriculum comporte deux étapes. Lors de la seconde étape du pré-entraînement, la part de données de code dans le mélange augmente. Le modèle acquiert d'abord une base générale, puis il est orienté vers la programmation, compétence centrale pour les agents dans un terminal.

Mid-training et post-entraînement : apprendre de différents harnais

Entre le pré-entraînement et le post-entraînement se place une étape d'ajustement fin de la composition des données. Le mélange s'élargit à de nouveaux domaines et formats, tandis que le contexte s'allonge progressivement. Pour un agent en CLI, c'est critique : il lit des logs, des diffs, des sorties de commandes et l'historique de ses propres actions, et tout cela grossit très vite.

Le post-entraînement repose sur l'idée de multi-scaffold et de multi-version. Un scaffold est le harnais qui entoure le modèle : un ensemble d'outils, un format d'appels, une boucle d'actions. Les produits agentiques en CLI se distinguent précisément à ce niveau, et un modèle entraîné pour un harnais se transfère souvent mal à un autre. IQuest-Q1 est donc entraîné sur plusieurs harnais à la fois, afin que la compétence ne reste pas attachée à une seule interface.

Le post-entraînement combine trois outils :

• SFT sur des démonstrations ;
• RL spécialisé par domaine, où des experts distincts progressent sur leurs propres tâches ;
• MOPD, qui réunit les signaux issus de différentes sources d'apprentissage.

La fusion plutôt qu'un unique meilleur checkpoint

La dernière étape est la fusion de modèles (model merging). Les auteurs fusionnent différents experts et des checkpoints de plusieurs étapes, et travaillent séparément à éviter que les mises à jour de paramètres n'entrent en conflit. Le problème est connu : deux fine-tunings, chacun utile pris isolément, peuvent s'annuler mutuellement lorsqu'on se contente de moyenner les poids. Si l'on parvient à lever ces conflits, on obtient un seul modèle qui conserve les points forts des spécialistes, sans qu'il soit nécessaire de maintenir un parc de versions étroites.

Fiche technique

• Architecture : sparse MoE, 320B de paramètres au total, 15B actifs
• Pré-entraînement : Stable SplitNorm, Muon, muP, curriculum en deux étapes avec part de code croissante
• Mid-training : élargissement des domaines et des formats, augmentation progressive du contexte
• Post-entraînement : SFT, RL par domaine, MOPD sur plusieurs scaffolds et versions
• Assemblage : fusion d'experts et de checkpoints avec contrôle des conflits de mises à jour
• Licence : modèle ouvert pour la recherche et le développement

Pourquoi s'intéresser à IQuest-Q1

Pour les équipes qui construisent leurs propres agents pour le terminal, l'intérêt est double. D'abord, disposer des poids ouverts d'un modèle de cette classe, avec 15 milliards de paramètres actifs, revient à payer l'inférence comme pour un modèle de taille moyenne, et non comme pour un modèle dense de 300 milliards. Le stockage des poids exigera tout de même beaucoup de mémoire : le déploiement vise donc de sérieux clusters de GPU, pas une seule station de travail.

Ensuite, la recette elle-même est intéressante. L'entraînement sur plusieurs scaffolds, la fusion d'experts spécialisés et la large marge sur le learning rate peuvent être étudiés et réutilisés indépendamment du modèle. La démarche pratique est évidente : passer IQuest-Q1 sur ses propres tâches, dans le harnais voulu, et le comparer au modèle actuellement utilisé. Une évaluation sur de vrais dépôts de code en dira plus que n'importe quel tableau de benchmarks.