NVIDIA lance Nemotron-Labs-TwoTower, un modèle de texte à poids ouverts fondé sur la diffusion

NVIDIA a publié Nemotron-Labs-TwoTower, un modèle de texte à poids ouverts. Il s'agit d'un modèle de langage à diffusion construit sur Nemotron-3-Nano-30B-A3B et conçu pour accélérer la génération de texte.

Où se situe la limite des modèles autorégressifs

Les architectures autorégressives (AR) sont à la base de GPT, Llama, Gemini et de la plupart des autres LLM. Le principe est simple : chaque token suivant est prédit à partir de tous les précédents, et le processus est strictement séquentiel. C'est élégant à l'entraînement, mais cela pose un problème concret pour l'inférence industrielle.

Le token suivant ne peut pas être calculé tant que le précédent n'est pas terminé. Ajouter des accélérateurs GPU à un cluster ne lève pas cette contrainte : elle est inscrite dans l'architecture, au niveau du graphe de calcul, et le décodage est séquentiel par définition. Pour les réponses longues, l'utilisateur attend proportionnellement plus longtemps, et le coût d'un token se heurte à un plancher rigide lors du passage à l'échelle. Pour les fournisseurs qui traitent des milliards de requêtes par jour, ce sont des coûts d'exploitation directs et permanents. C'est pourquoi l'accélération de l'inférence figure parmi les principaux axes de recherche du secteur, avec la réduction de la taille des modèles et la quantification.

Les modèles de langage à diffusion discrète proposent un mécanisme alternatif : au lieu de décoder pas à pas, ils affinent de manière itérative tout le bloc de sortie en quelques étapes. Cela ouvre la possibilité de générer plusieurs tokens en parallèle en un seul passage et, par conséquent, un profil de débit radicalement différent.

Comment fonctionne l'architecture TwoTower

La conception à deux tours combine les approches AR et à diffusion dans un seul modèle :

• Backbone AR : Nemotron-3-Nano-30B-A3B préentraîné (30 milliards de paramètres, gelé)
• Tête de diffusion : un composant entraînable placé au-dessus du backbone gelé
• Poids ouverts : licence NVIDIA Nemotron Open Model License
• Date de sortie : 1er juillet 2026

Geler le backbone AR est un choix d'architecture central. Plutôt que d'entraîner un modèle de diffusion à partir de zéro, NVIDIA utilise la base AR préentraînée comme source figée de représentations linguistiques contextuelles. Seul le composant de diffusion est entraîné, ce qui réduit le coût de calcul par expérience et les données nécessaires à l'adaptation. Le choix de Nemotron-3-Nano-30B-A3B comme backbone facilite aussi la reproductibilité : d'autres équipes peuvent refaire l'expérience à partir du même checkpoint accessible publiquement.

Pourquoi la diffusion appliquée au texte est un problème difficile

Les modèles de diffusion sont devenus la norme pour la génération d'images : Stable Diffusion, Midjourney et DALL-E 3 reposent sur ce principe. Le transposer au texte est bien plus ardu : les pixels existent dans un espace numérique continu, alors que les tokens sont discrets. Le bruit gaussien standard ne s'applique pas à des objets discrets ; il faut donc développer des processus de diffusion discrète spécifiques au texte.

Ce domaine progresse activement, mais reste jeune à l'échelle du secteur. Des travaux antérieurs, dont MDLM et SEDD, ont affiché des résultats compétitifs sur des benchmarks de langage, mais un écart de qualité avec les meilleurs systèmes AR subsistait. L'approche à deux tours de NVIDIA tente de lever ce compromis : prendre les solides représentations linguistiques d'un modèle AR déjà entraîné et y ajouter un mécanisme de diffusion, sans perdre les connaissances accumulées sur la syntaxe, la sémantique et les dépendances contextuelles.

Les poids ouverts ont une valeur particulière pour la communauté académique : les chercheurs pourront reproduire l'architecture, mesurer le gain de débit réel sur leurs propres tâches et proposer des améliorations à partir du checkpoint publié.

Ce que cela signifie

Nemotron-Labs-TwoTower est un pas concret vers une inférence de LLM plus rapide sans changer de matériel. NVIDIA, premier fournisseur de GPU du marché de l'IA, a intérêt à élargir le champ d'application des modèles de langage, notamment en réduisant le coût de l'inférence. Si l'approche hybride AR plus diffusion fait ses preuves en conditions de charge réelles, tant sur la qualité de génération que sur l'accélération effective du throughput, elle pourrait influencer les choix d'architecture de la prochaine génération de systèmes de langage.

Qu'est-ce que Nemotron-Labs-TwoTower ?

C'est un modèle de texte de NVIDIA qui utilise une architecture à diffusion plutôt que l'approche autorégressive traditionnelle. L'objectif du développement était d'éliminer le goulot d'étranglement sur la vitesse de génération de texte.

Peut-on utiliser le modèle NVIDIA Nemotron en Russie ?

Oui. Le modèle est distribué sous la licence ouverte NVIDIA Nemotron Open Model License, qui permet de l'utiliser dans n'importe quel pays.