NVIDIA Nemotron-Labs-3-Puzzle-75B: comprimir el modelo un 37% duplicó la velocidad del servidor

El 9 de julio de 2026, NVIDIA lanzó Nemotron-Labs-3-Puzzle-75B, una versión comprimida del modelo de lenguaje Nemotron-3-Super. Los ingenieros de NVIDIA emplearon la técnica Puzzle, que alterna la compresión orientada al hardware con fases de recuperación de conocimiento. Como resultado, el modelo se redujo un 37%, de 120.7B a 75.3B parámetros, mientras que el rendimiento a nivel de servidor aumentó 2.03x. En un solo nodo con ocho aceleradores B200, el modelo atiende 100 tokens por segundo a cada usuario. En una sola H100, el rendimiento con el contexto máximo de 1 millón de tokens saltó de 1 a 8 solicitudes simultáneas.

Cómo funciona el método Puzzle

Nemotron-Labs-3-Puzzle-75B se creó con el nuevo método Puzzle, que aborda un problema clásico: al comprimir un modelo, este pierde capacidades. Los ingenieros de NVIDIA encontraron una solución: alternar dos pasos.

En el paso de compresión estructural, el algoritmo elimina o poda neuronas según el consumo de energía y el ancho de banda en un hardware concreto. No es una simple poda de pesos, sino un análisis del perfil del hardware. Después llega una fase breve de destilación de conocimiento: el modelo original Nemotron-3-Super «enseña» a la versión comprimida y recupera el conocimiento perdido.

El proceso se repite de forma iterativa: compresión → destilación → compresión → destilación. El resultado es un modelo que conserva la capacidad de responder preguntas complejas, escribir código y analizar contexto, pero necesita un 37% menos de memoria.

• Modelo original: 120.7B parámetros, de los cuales 12.8B están activos a la vez
• Modelo comprimido: 75.3B parámetros, de los cuales 9.3B están activos
• Tipo de arquitectura: Mixture of Experts (MoE) híbrida
• Método: compresión iterativa orientada al hardware y destilación de conocimiento
• Ahorro de memoria: reducción de aproximadamente un 37%

Rendimiento en distintos aceleradores

La principal ventaja de Nemotron-Labs-3-Puzzle-75B es el rendimiento agregado (throughput), no la velocidad de una solicitud individual. Esto es crítico para las API en la nube y los servicios corporativos que atienden a miles de usuarios a la vez.

En el hardware más reciente, un nodo con ocho aceleradores NVIDIA B200, el modelo Puzzle ofrece un rendimiento 2.03x superior al de Nemotron-3-Super. A cada usuario se le garantiza una velocidad de procesamiento de al menos 100 tokens por segundo.

En las H100, más asequibles, la mejora es aún más llamativa. Con un contexto de 1 millón de tokens, el paralelismo pasó de 1 a 8 solicitudes simultáneas. Es decir, una sola H100 atiende ahora a 8 veces más usuarios con la misma latencia.

Por qué importa para la industria

Los resultados de Nemotron-Labs-3-Puzzle-75B indican que la era de los modelos gigantes y sin optimizar está llegando a su fin. Las empresas valoran no el tamaño del modelo, sino la relación entre calidad y rendimiento en un hardware concreto. NVIDIA ha demostrado que incluso los modelos con decenas de miles de millones de parámetros admiten una compresión racional.

Es probable que el método Puzzle se convierta en un estándar para preparar los LLM para su despliegue en producción. Las startups y las empresas medianas dispondrán de una herramienta para tomar modelos potentes y optimizarlos para sus propios centros de datos, ya sea en la nube o en dispositivos edge.

Qué significa

NVIDIA demuestra que el futuro pertenece a los modelos optimizados, no a los gigantes. Una compresión del 37% con una aceleración del 200% no es un compromiso, sino un avance claro. Las empresas que despliegan LLM dispondrán de una herramienta para ahorrar en cómputo sin perder funcionalidad.