NVIDIA Nemotron-Labs-3-Puzzle-75B : un modèle compressé de 37 % double le débit du serveur

Le 9 juillet 2026, NVIDIA a publié Nemotron-Labs-3-Puzzle-75B, une version compressée du modèle de langage Nemotron-3-Super. Les ingénieurs de NVIDIA ont employé la technique Puzzle, qui alterne compression adaptée au matériel et phases de récupération des connaissances. Résultat : le modèle a réduit sa taille de 37 %, passant de 120.7B à 75.3B paramètres, tandis que les performances de classe serveur ont progressé de 2.03x. Sur un seul nœud équipé de huit accélérateurs B200, le modèle sert 100 tokens par seconde à chaque utilisateur. Sur un seul H100, le débit avec le contexte maximal de 1 million de tokens est passé de 1 à 8 requêtes simultanées.

Comment fonctionne la méthode Puzzle

Nemotron-Labs-3-Puzzle-75B a été créé avec la nouvelle méthode Puzzle, qui s'attaque à un problème classique : en compressant un modèle, on lui fait perdre des capacités. Les ingénieurs de NVIDIA ont trouvé une parade : alterner deux étapes.

Dans l'étape de compression structurelle, l'algorithme supprime ou élague des neurones en fonction de la consommation d'énergie et de la bande passante sur un matériel donné. Il ne s'agit pas d'un simple élagage des poids, mais d'une analyse du profil matériel. Vient ensuite une courte phase de distillation des connaissances : le modèle d'origine Nemotron-3-Super « enseigne » à la version compressée et lui restitue les connaissances perdues.

Le processus se répète de façon itérative : compression → distillation → compression → distillation. Le modèle conserve ainsi sa capacité à répondre à des questions complexes, à écrire du code et à analyser du contexte, mais il exige 37 % de mémoire en moins.

• Modèle d'origine : 120.7B paramètres, dont 12.8B actifs simultanément
• Modèle compressé : 75.3B paramètres, dont 9.3B actifs
• Type d'architecture : Mixture of Experts (MoE) hybride
• Méthode : compression itérative adaptée au matériel et distillation des connaissances
• Gain de mémoire : réduction d'environ 37 %

Performances sur différents accélérateurs

Le principal atout de Nemotron-Labs-3-Puzzle-75B est le débit, et non la vitesse d'une requête isolée. C'est crucial pour les API cloud et les services d'entreprise qui servent des milliers d'utilisateurs en même temps.

Sur le matériel le plus récent, un nœud de huit accélérateurs NVIDIA B200, le modèle Puzzle affiche un débit 2.03x supérieur à celui de Nemotron-3-Super. Chaque utilisateur bénéficie d'une vitesse de traitement garantie d'au moins 100 tokens par seconde.

Sur les H100, plus accessibles, le gain est encore plus spectaculaire. Avec un contexte de 1 million de tokens, le parallélisme est passé de 1 à 8 requêtes simultanées. Autrement dit, un seul H100 sert désormais 8 fois plus d'utilisateurs pour une latence identique.

Pourquoi c'est important pour l'industrie

Les résultats de Nemotron-Labs-3-Puzzle-75B indiquent que l'ère des modèles géants et non optimisés touche à sa fin. Les entreprises valorisent non la taille du modèle, mais le rapport entre qualité et performances sur un matériel précis. NVIDIA a montré que même des modèles de plusieurs dizaines de milliards de paramètres se prêtent à une compression rationnelle.

La méthode Puzzle deviendra probablement un standard pour préparer les LLM à un déploiement en production. Les startups et les entreprises de taille moyenne disposeront d'un outil pour prendre des modèles puissants et les optimiser pour leurs propres centres de données, dans le cloud comme sur des appareils edge.

Ce que cela signifie

NVIDIA démontre que l'avenir appartient aux modèles optimisés plutôt qu'aux modèles géants. Une compression de 37 % pour une accélération de 200 % n'est pas un compromis, mais un progrès net. Les entreprises qui déploient des LLM disposeront d'un moyen d'économiser sur le calcul sans perdre en fonctionnalités.