NVIDIA lanza Nemotron-Labs-TwoTower, un modelo de texto con pesos abiertos basado en difusión

NVIDIA ha publicado Nemotron-Labs-TwoTower, un modelo de texto con pesos abiertos. Es un modelo de lenguaje de difusión construido sobre Nemotron-3-Nano-30B-A3B y pensado para acelerar la generación de texto.

Cuál es el límite de los modelos autorregresivos

Las arquitecturas autorregresivas (AR) son la base de GPT, Llama, Gemini y la mayoría de los demás LLM. El principio es simple: cada token siguiente se predice a partir de todos los anteriores, y el proceso es estrictamente secuencial. Es elegante durante el entrenamiento, pero plantea un problema concreto en la inferencia industrial.

El siguiente token no se puede calcular hasta que termina el anterior. Añadir aceleradores GPU a un clúster no elimina este límite: está integrado en la arquitectura, en el nivel del grafo computacional, y la decodificación es secuencial por definición. En respuestas largas, el usuario espera proporcionalmente más, y el coste de cada token choca con un suelo rígido al escalar. Para los proveedores que procesan miles de millones de solicitudes al día, supone costes operativos directos y constantes. Por eso acelerar la inferencia es una de las principales líneas de investigación del sector, junto con reducir el tamaño de los modelos y la cuantización.

Los modelos de lenguaje de difusión discreta proponen un mecanismo alternativo: en lugar de decodificar paso a paso, refinan de forma iterativa todo el bloque de salida en varios pasos. Esto abre la posibilidad de generar varios tokens en paralelo en una sola pasada y, con ello, un perfil de rendimiento radicalmente distinto.

Cómo funciona la arquitectura TwoTower

El diseño de dos torres combina el enfoque AR y el de difusión en un solo modelo:

• Backbone AR: Nemotron-3-Nano-30B-A3B preentrenado (30.000 millones de parámetros, congelado)
• Cabeza de difusión: un componente entrenable sobre el backbone congelado
• Pesos abiertos: licencia NVIDIA Nemotron Open Model License
• Fecha de lanzamiento: 1 de julio de 2026

Congelar el backbone AR es una decisión arquitectónica clave. En lugar de entrenar un modelo de difusión desde cero, NVIDIA usa la base AR preentrenada como fuente fija de representaciones lingüísticas contextuales. Solo se entrena el componente de difusión, lo que reduce el coste computacional por experimento y los datos necesarios para la adaptación. Elegir Nemotron-3-Nano-30B-A3B como backbone también facilita la reproducibilidad: otros equipos pueden repetir el experimento a partir del mismo checkpoint de acceso público.

Por qué la difusión para texto es un problema difícil

Los modelos de difusión se convirtieron en el estándar para generar imágenes: Stable Diffusion, Midjourney y DALL-E 3 funcionan con este principio. Trasladarlo al texto es mucho más complicado: los píxeles existen en un espacio numérico continuo, mientras que los tokens son discretos. El ruido gaussiano estándar no es aplicable a objetos discretos, por lo que para el texto se desarrollan procesos específicos de difusión discreta.

Este campo avanza con rapidez, pero sigue siendo joven para los estándares del sector. Trabajos anteriores, como MDLM y SEDD, mostraron resultados competitivos en benchmarks de lenguaje, aunque se mantuvo una brecha de calidad con los mejores sistemas AR. El enfoque de dos torres de NVIDIA intenta eliminar ese compromiso: tomar las sólidas representaciones lingüísticas de un modelo AR ya entrenado y añadirles un mecanismo de difusión, sin perder el conocimiento acumulado sobre sintaxis, semántica y dependencias contextuales.

Los pesos abiertos son especialmente valiosos para la comunidad académica: los investigadores podrán reproducir la arquitectura, medir la mejora real de rendimiento en sus propias tareas y proponer mejoras sobre el checkpoint publicado.

Qué significa

Nemotron-Labs-TwoTower es un paso práctico hacia una inferencia de LLM más rápida sin cambiar el hardware. NVIDIA, como principal proveedor de GPU del mercado de IA, tiene interés en ampliar la aplicabilidad de los modelos de lenguaje, también mediante la reducción del coste de inferencia. Si el enfoque híbrido AR más difusión demuestra su solidez en escenarios de carga reales, tanto en calidad de generación como en aceleración efectiva del throughput, podría influir en las decisiones de arquitectura de la próxima generación de sistemas de lenguaje.

¿Qué es Nemotron-Labs-TwoTower?

Es un modelo de texto de NVIDIA que usa una arquitectura de difusión en lugar del enfoque autorregresivo tradicional. El objetivo del desarrollo era eliminar el cuello de botella en la velocidad de generación de texto.

¿Se puede usar el modelo NVIDIA Nemotron en Rusia?

Sí. El modelo se distribuye bajo la licencia abierta NVIDIA Nemotron Open Model License, que permite su uso en cualquier país.