NVIDIA Nemotron-Labs-3-Puzzle-75B : une compression de 37 % du modèle a doublé la vitesse du serveur

Le 9 juillet 2026, NVIDIA a lancé Nemotron-Labs-3-Puzzle-75B, une version comprimée du modèle de langage Nemotron-3-Super. Les ingénieurs de NVIDIA ont utilisé la méthodologie Puzzle, qui alterne compression orientée vers le matériel avec des phases de récupération des connaissances. En résultat, le modèle s'est réduit de 37% — de 120.7B à 75.3B paramètres, mais les performances en classe serveur ont augmenté de 2.03x. Sur un seul nœud avec huit accélérateurs B200, le modèle traite 100 tokens par seconde par utilisateur. Sur un seul H100 avec un contexte maximal de 1 million de tokens, le débit a augmenté de 1 à 8 requêtes simultanées.

Comment Fonctionne la Méthode Puzzle

Nemotron-Labs-3-Puzzle-75B a été créé en utilisant une nouvelle méthode Puzzle, qui résout un problème classique : lors de la compression d'un modèle, celui-ci perd ses capacités. Les ingénieurs de NVIDIA ont trouvé une solution — alterner deux étapes.

À l'étape de compression structurelle, l'algorithme supprime ou élague les neurones en fonction de la consommation d'énergie et du débit sur du matériel spécifique. Ce n'est pas simplement un élagage des poids, mais une analyse du profil matériel. Vient ensuite une brève phase de distillation des connaissances — le modèle original Nemotron-3-Super « enseigne » la version comprimée, récupérant les connaissances perdues.

Le processus se répète itérativement : compression → distillation → compression → distillation. Le résultat — le modèle conserve la capacité à répondre à des questions complexes, à écrire du code et à analyser le contexte, mais nécessite 37% moins de mémoire.

• Modèle original : 120.7B paramètres, dont 12.8B sont actifs simultanément
• Modèle comprimé : 75.3B paramètres, dont 9.3B sont actifs
• Type d'architecture : Mixture of Experts (MoE) hybride
• Méthode : compression matérielle itérative et distillation des connaissances
• Économies de mémoire : réduction d'environ 37%

Performance sur Différents Accélérateurs

Le principal avantage de Nemotron-Labs-3-Puzzle-75B est le débit, et non la vitesse d'une seule requête. C'est crucial pour les API cloud et les services d'entreprise qui servent simultanément des milliers d'utilisateurs.

Sur le matériel le plus récent — un nœud avec huit accélérateurs NVIDIA B200 — le modèle Puzzle affiche un débit 2.03x supérieur à Nemotron-3-Super. Chaque utilisateur est assuré d'une vitesse de traitement minimale de 100 tokens par seconde.

Sur des H100s plus accessibles, l'avantage est encore plus impressionnant. Avec un contexte de 1 million de tokens, le parallélisme est passé de 1 à 8 requêtes simultanées. Autrement dit, un H100 dessert maintenant 8 fois plus d'utilisateurs avec la même latence.

Pourquoi Cela Importe pour l'Industrie

Les résultats de Nemotron-Labs-3-Puzzle-75B indiquent que l'ère des modèles géants et non optimisés prend fin. Les entreprises valorisent non pas la taille du modèle, mais le rapport qualité-performance sur du matériel spécifique. NVIDIA a montré que même les modèles avec des dizaines de milliards de paramètres peuvent être rationnellement comprimés.

La méthode Puzzle deviendra probablement un standard pour préparer les LLM au déploiement industriel. Les startups et les entreprises de taille moyenne auront un outil pour prendre des modèles puissants et les optimiser pour leurs centres de données — qu'ils soient en cloud ou sur des appareils edge.

Ce Que Cela Signifie

NVIDIA démontre que l'avenir appartient aux modèles optimisés, non aux modèles géants. Une compression de 37% avec une accélération de 200% — ce n'est pas un compromis, mais un progrès clair. Les entreprises déployant des LLM auront un outil pour économiser de l'argent sur l'informatique sans perdre de fonctionnalités.