NVIDIA réduit Nemotron de 120 à 74 milliards de paramètres pour tenir dans 24 Go de VRAM

Comment le modèle a été réduit sans perdre ses capacités

Plutôt que de choisir manuellement quelles parties du réseau de neurones supprimer, NVIDIA a utilisé son propre outil Star Elastic — qui détermine automatiquement combien d'« experts » (des sous-réseaux spécialisés activés pour des tâches spécifiques) conserver dans chaque couche du modèle, et lesquels éliminer. Le processus se déroule en parallèle de l'entraînement : un « routeur » spécial teste différentes architectures tandis qu'une distillation de connaissances s'opère simultanément — le modèle enseignant original de 120 milliards de paramètres guide la version compressée vers les bonnes réponses, afin qu'elle ne perde pas ses capacités. Au final, le nombre d'experts actifs par token est passé de 22 à 9, et la taille globale du modèle de 120 à 74 milliards de paramètres.

Après cette compression, le modèle a été réentraîné en plusieurs étapes : d'abord pour restaurer sa capacité à comprendre les images (en reconnectant un module visuel réentraîné du modèle parent à la partie textuelle compressée), puis via apprentissage par renforcement sur des tâches agentiques réelles — utilisation d'outils via le protocole MCP, manipulation du terminal, et revue de code dans l'esprit des benchmarks SWE. C'est précisément cet entraînement qui a fait grimper le score sur le benchmark MCP-Atlas de 48 à 56 points — le modèle est devenu nettement meilleur pour gérer des tâches à plusieurs étapes nécessitant d'appeler successivement différents outils.

Quantification à 2 bits — et comment la précision a été préservée

Le principal levier d'économie de mémoire n'est pas la compression architecturale, mais une quantification agressive des poids. Habituellement, les modèles sont stockés au format 16 bits (BF16), mais NVIDIA a compressé la plupart des couches « expertes » à 2,0625 bits par paramètre — chaque valeur du réseau occupe désormais environ 8 fois moins d'espace. Cela a réduit le poids du modèle de 148 Go (en BF16 non compressé) à 22,1 Go, soit une économie de 85 %.

La découverte clé de l'équipe : il est préférable de partir d'un modèle plus grand et de le compresser davantage, plutôt que de compresser faiblement un modèle plus petit — à taille finale égale, la première approche est plus précise. Pour que la quantification elle-même ne dégrade pas la qualité des réponses, les ingénieurs ont utilisé la distillation directement pendant la compression (Quantization-Aware Distillation) : le modèle enseignant non compressé guide en temps réel la version compressée pour préserver les bonnes distributions de probabilités sur les mots. Pour cela, les auteurs ont testé plusieurs fonctions de perte et se sont arrêtés sur l'indice de Jaccard (qui mesure le chevauchement entre deux ensembles de probabilités) — celui-ci a donné les meilleurs résultats pour ce niveau de compression extrême.

Toutes les couches n'ont pas été compressées de la même façon : certaines (notamment celles gérant le contexte long) ont été conservées au format NVFP4, tandis que les embeddings et la couche de sortie restent en 8 bits (Q8_0), là où la précision est critique.

Résultats concrets

Sur RTX Spark, le modèle atteint 84 tokens par seconde grâce à un module « draft » supplémentaire, LiLiCorr — un mini-modèle auxiliaire qui anticipe plusieurs mots suivants, le modèle principal se contentant de les vérifier (c'est le décodage spéculatif, qui accélère la génération sans perte de qualité). Cette vitesse est comparable à celle de modèles ayant bien moins de paramètres actifs, tandis que Nemotron 3.5 Bolt les surpasse en précision sur les tests de tâches agentiques (GDPVal v2), de navigation web (BrowseComp) et de manipulation du terminal (Terminal-Bench 2.1).

Sur neuf benchmarks clés, le score moyen passe de 57,58 pour le modèle pleine taille à 54,74 pour la version compressée — une perte de seulement 4,94 %, alors que le modèle est 6,7 fois plus léger (148 Go → 22,1 Go). Pour les développeurs d'agents IA locaux — ceux qui veulent faire tourner un assistant puissant sur du matériel compact sans dépendre du cloud — c'est un outil concret : les poids sont disponibles aux formats Hugging Face et GGUF, le modèle est compatible avec llama.cpp et vLLM, et NVIDIA a également publié le module draft LiLiCorr pour l'accélération.