NVIDIA Nemotron-Labs-3-Puzzle-75B: la compresión del modelo en un 37% duplicó la velocidad del servidor

El 9 de julio de 2026, NVIDIA lanzó Nemotron-Labs-3-Puzzle-75B, una versión comprimida del modelo de lenguaje Nemotron-3-Super. Los ingenieros de NVIDIA utilizaron la metodología Puzzle, que alterna compresión orientada al hardware con fases de recuperación de conocimiento. Como resultado, el modelo se redujo un 37% — de 120.7B a 75.3B parámetros, pero el rendimiento en clase de servidor aumentó 2.03 veces. En un único nodo con ocho aceleradores B200, el modelo sirve 100 tokens por segundo por usuario. En una única H100 con contexto máximo de 1 millón de tokens, el rendimiento saltó de 1 a 8 solicitudes simultáneas.

Cómo Funciona el Método Puzzle

Nemotron-Labs-3-Puzzle-75B fue creado usando un nuevo método Puzzle, que resuelve un problema clásico: al comprimir un modelo, este pierde capacidades. Los ingenieros de NVIDIA encontraron una solución — alternar dos pasos.

En el paso de compresión estructural, el algoritmo elimina o poda neuronas en función del consumo de energía y el rendimiento en hardware específico. Esto no es simplemente poda de pesos, sino un análisis del perfil de hardware. Luego viene una breve fase de destilación de conocimiento — el modelo original Nemotron-3-Super "enseña" la versión comprimida, recuperando el conocimiento perdido.

El proceso se repite iterativamente: compresión → destilación → compresión → destilación. El resultado — el modelo retiene la capacidad de responder preguntas complejas, escribir código y analizar contexto, pero requiere un 37% menos de memoria.

• Modelo original: 120.7B parámetros, de los cuales 12.8B están activos simultáneamente
• Modelo comprimido: 75.3B parámetros, de los cuales 9.3B están activos
• Tipo de arquitectura: Mixture of Experts (MoE) híbrida
• Método: compresión de hardware iterativa y destilación de conocimiento
• Ahorro de memoria: reducción aproximada del 37%

Rendimiento en Diferentes Aceleradores

La principal ventaja de Nemotron-Labs-3-Puzzle-75B es el rendimiento, no la velocidad de una solicitud individual. Esto es crítico para APIs en la nube y servicios empresariales que sirven simultáneamente a miles de usuarios.

En el hardware más reciente — un nodo con ocho aceleradores NVIDIA B200 — el modelo Puzzle muestra un rendimiento 2.03 veces mayor que Nemotron-3-Super. Se garantiza a cada usuario una velocidad de procesamiento mínima de 100 tokens por segundo.

En H100s más accesibles, el beneficio es aún más impresionante. Con un contexto de 1 millón de tokens, el paralelismo creció de 1 a 8 solicitudes simultáneas. Es decir, un H100 ahora atiende 8 veces más usuarios con la misma latencia.

Por Qué Esto Importa para la Industria

Los resultados de Nemotron-Labs-3-Puzzle-75B indican que la era de los modelos gigantes y no optimizados está llegando a su fin. Las empresas valoran no el tamaño del modelo, sino la relación calidad-rendimiento en hardware específico. NVIDIA demostró que incluso los modelos con decenas de miles de millones de parámetros pueden comprimirse racionalmente.

El método Puzzle probablemente se convertirá en un estándar para preparar LLMs para su implementación industrial. Las startups y empresas de tamaño medio tendrán una herramienta para tomar modelos poderosos y optimizarlos para sus centros de datos — ya sea en la nube o en dispositivos edge.

Lo Que Esto Significa

NVIDIA demuestra que el futuro pertenece a los modelos optimizados, no a los gigantes. Compresión del 37% con aceleración del 200% — esto no es un compromiso, sino un progreso claro. Las empresas que implementan LLMs tendrán una herramienta para ahorrar dinero en computación sin perder funcionalidad.