NVIDIA Exemplar Cloud: почему одинаковые AI-кластеры теряют до 12% производительности

NVIDIA publicó en Developer Blog un análisis del programa Exemplar Cloud: dos clústeres de AI sobre aceleradores idénticos H100, GB200 NVL72 o GB300 NVL72 muestran regularmente una diferencia en el training throughput de entre el 8% y el 12% — con la misma tarea, el mismo modelo y el mismo tamaño global de batch.

Por qué clústeres idénticos dan resultados diferentes

La causa de la brecha no está en el hardware, sino en la elección de la configuración. Según NVIDIA Developer Blog, la discrepancia del 8% al 12% entre las implementaciones de los socios y la arquitectura de referencia de la empresa (Reference Architecture, RA) surge de una pila de decisiones de configuración a nivel del kernel del sistema operativo. Dos nubes con GPU H100 o GB200 NVL72 idénticas pueden mostrar un training throughput fundamentalmente diferente si sus capas de software están configuradas de manera distinta a lo que recomienda NVIDIA.

Para entender la escala: en un clúster de mil aceleradores, una brecha del 10% equivale a decenas de horas de tiempo computacional por semana. A los precios de mercado del alquiler de GPU, esto supone pérdidas de cientos de miles de dólares en productividad al año.

• Sistemas comparados: NVIDIA H100, GB200 NVL72, GB300 NVL72
• Brecha registrada: del 8% al 12% en training throughput
• Condición: misma tarea, mismo modelo, mismo tamaño global de batch
• Fuente de la brecha: «pila de decisiones de configuración a nivel del kernel», según NVIDIA Developer Blog

Qué es NVIDIA Exemplar Cloud

Exemplar Cloud es un programa de socios de NVIDIA creado para ayudar a los proveedores de nube a alcanzar el rendimiento de la arquitectura de referencia. La empresa analiza implementaciones específicas de socios, las compara con la RA e identifica «cuellos de botella» de configuración que reducen silenciosamente la eficiencia de los clústeres. Las áreas típicas de optimización incluyen parámetros de la pila de red, configuraciones de NVLink e InfiniBand, configuración del kernel de Linux y topología NUMA.

El programa es especialmente relevante en este momento: GB200 NVL72 y GB300 NVL72 son los racks más recientes de NVIDIA basados en la arquitectura Blackwell, que en 2025–2026 están siendo puestos en funcionamiento masivamente por los principales proveedores mundiales. La competencia por los clientes de AI se libra al nivel del throughput real, y una brecha del 10% entre dos nubes con equipamiento idéntico puede determinar el resultado de una gran licitación.

«Observamos sistemáticamente una brecha de entre el 8% y el 12% entre

las instalaciones de socios y nuestra arquitectura de referencia en la misma tarea, el mismo modelo y el mismo tamaño global de batch», se afirma en la publicación de NVIDIA Developer Blog.

Qué significa esto

Para los ingenieros de ML y los equipos de DevOps que gestionan clústeres de GPU, la conclusión clave es simple: disponer del hardware correcto es una condición necesaria pero no suficiente. El 8–12% de rendimiento perdido por la configuración representa dinero real y tiempo real de entrenamiento de modelos. Exemplar Cloud ofrece un enfoque sistemático: comparar su implementación con la referencia de NVIDIA y eliminar cuellos de botella específicos, en lugar de adivinar por qué el throughput está por debajo del máximo teórico. Para los proveedores de nube, alcanzar las métricas de la RA se convierte simultáneamente en una ventaja competitiva y en un ahorro operativo.

Preguntas frecuentes

¿Qué es NVIDIA Reference Architecture?

NVIDIA Reference Architecture (RA) es la configuración de referencia del stack de hardware y software que NVIDIA publica para los sistemas H100, GB200 NVL72 y GB300 NVL72. Sirve como punto de referencia: el rendimiento de la implementación del socio se compara con la RA para identificar discrepancias específicas.

¿Por qué la brecha del 8–12% es crítica para el cloud AI?

En un clúster de cientos o miles de aceleradores GB200 NVL72, una brecha del 10% en el training throughput equivale a un 10% adicional en costes de cómputo — o la misma cantidad de ingresos perdidos por alquiler de GPU en comparación con un competidor sobre sistemas idénticos pero con un stack mejor configurado.