NVIDIA lanza Nemotron 3 Nano 4B, un modelo híbrido compacto para ejecutarse en dispositivos

NVIDIA ha abierto el acceso a Nemotron 3 Nano 4B, un modelo de lenguaje compacto de 4000 millones de parámetros diseñado específicamente para su despliegue en el borde (edge) en dispositivos Jetson, GPU RTX y DGX Spark. Es el primer modelo de 4B de NVIDIA basado en una arquitectura híbrida Mamba-Transformer, orientada a un consumo mínimo de memoria y una inferencia rápida.

Una arquitectura híbrida de nueva generación

Nemotron 3 Nano 4B se basa en un diseño de 42 capas: 21 bloques Mamba, 4 bloques Attention y 17 bloques MLP. Esta proporción es poco habitual en modelos de lenguaje de este tamaño, ya que la mayoría de los competidores se construyen exclusivamente con transformers. Las capas Mamba procesan secuencias largas con complejidad lineal, y no cuadrática, en memoria, que es la principal fuente de eficiencia. Los bloques Attention se sitúan de forma estratégica y conservan la precisión donde importa la comprensión global del contexto.

Frente al modelo del que deriva, Nemotron Nano 9B v2, la dimensión de los embeddings baja de 4480 a 3136, el número de cabezas Mamba de 128 a 96 y el de capas de 56 a 42. El resultado: el menor volumen de VRAM de la clase 4B en pruebas con una RTX 4070 y una latencia Time-to-First-Token récord de baja con secuencias de entrada largas.

Cuatro etapas de entrenamiento

Nemotron 3 Nano 4B no es simplemente un 9B recortado, sino un modelo con su propio proceso de entrenamiento en cuatro etapas. La primera es la compresión mediante Nemotron Elastic: una búsqueda de arquitectura neuronal (NAS) con un router entrenado determinó exactamente dónde podar la red de 9B. El router actuó sobre cuatro ejes: cabezas Mamba, dimensión oculta, canales FFN y profundidad del modelo.

La segunda es la destilación para recuperar precisión:

• Contexto corto (8K, 63B tokens): 70 % de datos de post-entrenamiento + 30 % de preentrenamiento
• Contexto largo (49K, 150B tokens): ampliación de la ventana para tareas de razonamiento complejas

La tercera es el ajuste fino supervisado (SFT): dos fases con matemáticas, código, ciencia, chat, tareas agénticas y seguridad.

La cuarta es el aprendizaje por refuerzo en tres fases con NeMo-RL: del seguimiento de instrucciones en un solo turno al de varios turnos con salidas JSON/XML, y de ahí a la llamada a herramientas. La proporción de datos de razonamiento y sin razonamiento es de 50/50, con una penalización KL cada vez más estricta.

Las cifras que importan

En una Jetson Orin Nano con GGUF de 4 bits (Q4_K_M), el modelo genera 18 tokens/s, el doble que Nemotron Nano 9B v2 en el mismo hardware. La cuantización FP8 con ModelOpt conserva el 100 % de la precisión mediana y acelera la inferencia 1,8× respecto a BF16.

"FP8 quantization achieved 100% median accuracy recovery with up to

1.8X latency/throughput improvement over BF16" — de la documentación técnica de NVIDIA.

En los benchmarks clave, el modelo lidera frente a los competidores de su clase:

• IFBench e IFEval — seguimiento de instrucciones
• Orak — inteligencia en juegos: Super Mario, Darkest Dungeon, Stardew Valley
• Tool-use — llamada a herramientas y evitación de alucinaciones
• TTFT — latencia mínima con secuencias de entrada largas

El modelo está disponible en tres variantes: BF16 (precisión completa), FP8 (optimizada para RTX y GPU de servidor) y GGUF Q4_K_M (para Jetson y Llama.cpp). Es compatible con los motores vLLM, TRT-LLM y Hugging Face Transformers.

Qué significa

Un modelo de 4B con el doble de velocidad que el de 9B en Jetson cambia la ecuación de la IA en el borde: la robótica, el IoT, los agentes locales y los NPC de videojuegos obtienen una herramienta de nivel industrial sin hardware caro y sin enviar datos a la nube. Los pesos abiertos permiten ajustar el modelo a un dominio concreto sin restricciones de licencia.