NVIDIA reduce su modelo Nemotron de 120 a 74 mil millones de parámetros para caber en 24 GB de VRAM

# NVIDIA reduce su modelo Nemotron de 120 a 74 mil millones de parámetros para caber en 24 GB de VRAM

Las empresas que desarrollan modelos de IA de uso general suelen competir en tamaño: más parámetros, modelo más inteligente. Pero para una PC de IA local que debe funcionar junto a otros programas con memoria VRAM limitada, lo que importa es otra cosa: cuánto valor entrega el modelo por cada gigabyte de memoria. NVIDIA resolvió este problema tomando su modelo multimodal insignia, Nemotron 3.5 Super VL (120 mil millones de parámetros, con 12 mil millones activos por token), y comprimiéndolo en la versión Nemotron 3.5 Bolt 74B-A9B, que cabe en 24 GB de memoria — exactamente lo disponible en las PCs de IA compactas RTX Spark y DGX Spark de NVIDIA.

Cómo recortaron el modelo sin perder capacidad

En lugar de decidir manualmente qué partes de la red neuronal eliminar, NVIDIA utilizó su propia herramienta, Star Elastic, que determina automáticamente cuántos "expertos" (subredes independientes que se activan para tareas específicas) mantener en cada capa del modelo y cuáles descartar. El proceso ocurre en paralelo con el entrenamiento: un "enrutador" especializado explora distintas configuraciones de arquitectura mientras, simultáneamente, se aplica destilación de conocimiento — el modelo maestro original de 120 mil millones de parámetros guía a la versión comprimida hacia las respuestas correctas para que no pierda capacidades. El resultado: el número de "expertos" activos por token se redujo de 22 a 9, y el tamaño total del modelo pasó de 120 a 74 mil millones de parámetros.

Tras la compresión, el modelo se volvió a entrenar: primero se restauró la capacidad de comprender imágenes (para ello se conectó al núcleo de texto comprimido un módulo visual reentrenado del modelo original), y luego se aplicó aprendizaje por refuerzo en tareas agénticas reales — uso de herramientas mediante el protocolo MCP, manejo de terminal y revisión de código al estilo de los benchmarks SWE. Precisamente este entrenamiento elevó el resultado en el benchmark MCP-Atlas de 48 a 56 puntos, lo que significa que el modelo mejoró notablemente en tareas de múltiples pasos que requieren invocar distintas herramientas de forma secuencial.

Cuantización a 2 bits — y cómo evitaron que destruyera la precisión

La principal palanca de ahorro de memoria no fue la compresión arquitectónica, sino una cuantización agresiva de los pesos. Normalmente los modelos almacenan sus pesos en formato de 16 bits (BF16), pero NVIDIA comprimió la mayoría de las capas "expertas" hasta apenas 2,0625 bits por parámetro, es decir, cada número de la red ahora ocupa aproximadamente 8 veces menos espacio. Esto redujo el peso del modelo de 148 GB (en BF16 sin comprimir) a 22,1 GB, un ahorro del 85%.

El hallazgo clave del equipo: es mejor partir de un modelo más grande y comprimirlo con más fuerza que tomar uno más pequeño y comprimirlo menos — con el mismo tamaño final, la primera opción resulta más precisa. Para que la propia cuantización no deteriorara la calidad de las respuestas, usaron destilación durante el proceso de compresión (Quantization-Aware Distillation): el modelo maestro sin comprimir guía en tiempo real a la versión comprimida para preservar las distribuciones de probabilidad correctas sobre las palabras. Para lograrlo, los autores probaron varias funciones de pérdida y se quedaron con una medida basada en el índice de Jaccard (que mide la superposición entre dos conjuntos de probabilidades), la cual dio el mejor resultado precisamente para este nivel de compresión tan extrema.

No todas las capas se comprimieron de la misma manera: algunas (por ejemplo, las encargadas de procesar contexto largo) se mantuvieron en formato NVFP4, mientras que los embeddings y la capa de salida se dejaron en 8 bits (Q8_0) para no perder precisión donde es más crítica.

Qué resultó en la práctica

En la RTX Spark, el modelo entrega 84 tokens por segundo gracias a un módulo adicional de "borrador" llamado LiLiCorr — un modelo auxiliar pequeño que adivina varias palabras siguientes por adelantado, mientras el modelo principal simplemente las verifica (esta técnica se llama decodificación especulativa y acelera la generación sin perder calidad). La velocidad es comparable a modelos con muchos menos parámetros activos, pero Nemotron 3.5 Bolt los supera en precisión en benchmarks de tareas agénticas (GDPVal v2), navegación web (BrowseComp) y manejo de terminal (Terminal-Bench 2.1).

En nueve benchmarks clave, la puntuación promedio cayó de 57,58 para el modelo de tamaño completo a 54,74 para la versión comprimida — una pérdida de solo 4,94%, pese a que el modelo se volvió 6,7 veces más ligero en peso (148 GB → 22,1 GB). Para los desarrolladores de agentes de IA locales — aquellos que quieren ejecutar un asistente potente en hardware compacto sin depender de la nube — esta es una herramienta concreta: los pesos están disponibles en formatos Hugging Face y GGUF, el modelo es compatible con llama.cpp y vLLM, y junto con él NVIDIA también publicó el propio módulo de borrador LiLiCorr para acelerar aún más el proceso.