Nemotron 3.5 Bolt compressé à 24 Go : le modèle de 74B produit 84 tokens par seconde

Des chercheurs ont publié sur arXiv la description de Nemotron 3.5 Bolt 74B-A9B 24GB, un modèle hybride Mamba-Transformer qui prend en charge les images. Son objectif : offrir un maximum de vitesse et de qualité pour chaque gigaoctet de mémoire, dans des scénarios agentiques locaux. Le modèle compte 74 milliards de paramètres, dont 9 milliards sont actifs lors de la génération de chaque token, et l'ensemble tient dans 24 Go. Sur RTX Spark, il produit 84 tokens par seconde. Pour de longues chaînes d'actions agentiques, cette vitesse est, selon les auteurs, largement suffisante. 109 personnes ont travaillé sur ce projet, et le preprint est enregistré sous le numéro 2610.33039.

De 120 milliards à 24 Go : comment Super VL a été compressé

Bolt n'a pas été entraîné de zéro. Il est issu de la famille Nemotron 3.5 Super VL 120B-A12B, et la compression s'est déroulée en deux étapes.

La première s'appelle Star Elastic compression. Elle réduit l'architecture elle-même : sur 120 milliards de paramètres au total, il en reste 74 milliards (environ 38 % de moins), et les paramètres actifs passent de 12 milliards à 9 milliards (25 % de moins).

La seconde étape est une Quantization-Aware Distillation sur 2 bits. Les poids sont comprimés à deux bits, puis la qualité est restaurée par une distillation dans laquelle le modèle apprend en tenant compte de la quantification. Un calcul rapide donne l'ordre de grandeur : 74 milliards de paramètres à 2 bits représentent environ 18,5 Go pour les seuls poids. Le reste des 24 Go sert aux autres composants et à la mémoire de travail. Il s'agit d'un calcul fondé sur les chiffres annoncés, et non d'une mesure issue de l'article.

Le schéma hybride Mamba plus Transformer contribue lui aussi à économiser la mémoire et à gagner en vitesse. Le modèle accepte les images en plus du texte ; il peut donc lire des captures d'écran de pages web et d'interfaces.

LiLiCorr et 84 tokens par seconde

La compression a réduit la taille, mais pas apporté la vitesse. L'équipe a donc entraîné un drafter spéculatif distinct, LiLiCorr. Le drafter propose plusieurs tokens à l'avance, et le modèle principal les vérifie en une seule passe. LiLiCorr est publié avec le modèle, et les auteurs le présentent comme un élément de la recette pour atteindre la vitesse visée.

Résultat : 84 tokens par seconde sur RTX Spark. Les auteurs comparent ce chiffre à celui de modèles dont le nombre de paramètres actifs est nettement inférieur. Pour un agent qui appelle des outils des centaines de fois, parcourt des pages et enchaîne les commandes dans un terminal, c'est une vitesse soutenue qui compte, et non un pic sur une réponse courte.

Ce que l'on sait de Bolt

• Nom : Nemotron 3.5 Bolt 74B-A9B 24GB, de la famille Nemotron.
• Architecture : hybride Mamba et Transformer, modèle vision-langage.
• Paramètres : 74 milliards au total, 9 milliards actifs.
• Mémoire : 24 Go.
• Modèle parent : Nemotron 3.5 Super VL 120B-A12B.
• Compression : Star Elastic compression.
• Quantification : Quantization-Aware Distillation sur 2 bits.
• Drafter : LiLiCorr, publié avec le modèle.
• Profil : raisonnement, appels d'outils agentiques, travail sur le web et dans un terminal.
• Benchmarks : GDPVal v2 (capacités agentiques générales), BrowseComp (navigation web), Terminal-Bench 2.1 (terminal).
• Vitesse : 84 tokens par seconde sur RTX Spark.
• Publication : arXiv cs.CV, soumis le 15 octobre 2026, 109 auteurs.

À qui s'adresse ce modèle

D'après les auteurs, Bolt obtient de meilleurs scores que les modèles de pointe d'empreinte mémoire et de vitesse comparables. Cela vaut aussi bien pour les tâches agentiques générales que pour la navigation web et le travail dans un terminal. La comparaison se fait précisément dans la catégorie des modèles qui « tiennent sur une seule carte graphique grand public », où les alternatives sont généralement soit plus petites, soit plus lentes. Il n'existe pas encore de mesures indépendantes : ce sont les résultats de l'équipe elle-même.

La conclusion pratique pour les développeurs est simple. Si vous construisez un agent local qui ouvre des sites, lance des commandes et analyse des captures d'écran, 24 Go de mémoire et 84 tokens par seconde font passer ce schéma du stade d'expérience à celui d'outil exploitable. Les données ne partent pas dans le cloud, et le coût du token se réduit à l'électricité.

Trois points méritent d'être vérifiés : le comportement de la quantification 2 bits sur vos propres tâches, l'accélération réellement apportée par le drafter sur vos scénarios, et la capacité de la mémoire restante à absorber un long contexte. La recette elle-même présente un intérêt particulier : la compression d'un grand modèle associée à une distillation avec quantification pourrait devenir la voie standard pour passer des poids de datacenter aux modèles locaux.