NVIDIA lance Nemotron 3 Nano 4B, un modèle hybride compact conçu pour tourner sur l'appareil

NVIDIA a ouvert l'accès à Nemotron 3 Nano 4B, un modèle de langage compact de 4 milliards de paramètres, conçu spécialement pour un déploiement en périphérie (edge) sur les appareils Jetson, les GPU RTX et le DGX Spark. C'est le premier modèle 4B de NVIDIA bâti sur une architecture hybride Mamba-Transformer, axée sur une consommation mémoire minimale et une inférence rapide.

Une architecture hybride de nouvelle génération

Nemotron 3 Nano 4B repose sur une conception en 42 couches : 21 blocs Mamba, 4 blocs Attention et 17 blocs MLP. Ce dosage est atypique pour des modèles de langage de cette taille, la plupart des concurrents étant construits exclusivement sur des transformers. Les couches Mamba traitent les longues séquences avec une complexité mémoire linéaire, et non quadratique, ce qui constitue la principale source d'efficacité. Les blocs Attention sont placés de façon stratégique et préservent la précision là où la compréhension globale du contexte compte.

Par rapport au modèle parent, Nemotron Nano 9B v2, la dimension des embeddings passe de 4 480 à 3 136, le nombre de têtes Mamba de 128 à 96 et le nombre de couches de 56 à 42. Résultat : le plus faible volume de VRAM de la catégorie 4B lors des tests sur RTX 4070 et une latence Time-to-First-Token au plus bas jamais mesurée sur les longues séquences d'entrée.

Quatre étapes d'entraînement

Nemotron 3 Nano 4B n'est pas un simple 9B élagué, mais un modèle doté de son propre pipeline d'entraînement en quatre étapes. La première est la compression via Nemotron Elastic : une recherche d'architecture neuronale (NAS) avec un routeur entraîné a déterminé précisément où élaguer le réseau de 9B. Le routeur a agi sur quatre axes : les têtes Mamba, la dimension cachée, les canaux FFN et la profondeur du modèle.

La deuxième est la distillation, pour retrouver de la précision :

• Contexte court (8K, 63B tokens) : 70 % de données de post-entraînement + 30 % de pré-entraînement
• Contexte long (49K, 150B tokens) : extension de la fenêtre pour les tâches de raisonnement complexes

La troisième est le fine-tuning supervisé (SFT) : deux phases couvrant les mathématiques, le code, les sciences, le chat, les tâches agentiques et la sécurité.

La quatrième est l'apprentissage par renforcement en trois phases via NeMo-RL : du suivi d'instructions à un seul tour au multitour avec sorties JSON/XML, puis à l'appel d'outils. Le ratio de données de raisonnement et sans raisonnement est de 50/50, avec une pénalité KL durcie progressivement.

Les chiffres qui comptent

Sur un Jetson Orin Nano en GGUF 4 bits (Q4_K_M), le modèle produit 18 tokens/s, soit deux fois plus vite que Nemotron Nano 9B v2 sur le même matériel. La quantification FP8 via ModelOpt conserve 100 % de la précision médiane tout en accélérant l'inférence de 1,8× par rapport au BF16.

« FP8 quantization achieved 100% median accuracy recovery with up to

1.8X latency/throughput improvement over BF16 » — extrait de la documentation technique de NVIDIA.

Sur les principaux benchmarks, le modèle devance ses concurrents de même catégorie :

• IFBench et IFEval — suivi d'instructions
• Orak — intelligence de jeu : Super Mario, Darkest Dungeon, Stardew Valley
• Tool-use — appel d'outils et évitement des hallucinations
• TTFT — latence minimale sur les longues séquences d'entrée

Le modèle existe en trois versions : BF16 (pleine précision), FP8 (optimisée pour RTX et GPU serveur) et GGUF Q4_K_M (pour Jetson et Llama.cpp). Les moteurs vLLM, TRT-LLM et Hugging Face Transformers sont pris en charge.

Ce que cela change

Un modèle 4B deux fois plus rapide que le 9B sur Jetson change l'équation de l'IA en périphérie : robotique, IoT, agents locaux et PNJ de jeux obtiennent un outil de niveau industriel sans matériel coûteux et sans envoyer de données dans le cloud. Les poids ouverts permettent d'adapter le modèle à un domaine précis sans restrictions de licence.