NVIDIA Exemplar Cloud: почему одинаковые AI-кластеры теряют до 12% производительности

A NVIDIA publicou no Developer Blog uma análise do programa Exemplar Cloud: dois clusters de AI em aceleradores idênticos H100, GB200 NVL72 ou GB300 NVL72 apresentam regularmente uma diferença no training throughput de 8% a 12% — com a mesma tarefa, o mesmo modelo e o mesmo tamanho global de batch.

Por que clusters idênticos produzem resultados diferentes

A causa da diferença não está no hardware, mas na escolha da configuração. Segundo o NVIDIA Developer Blog, a discrepância de 8% a 12% entre implantações de parceiros e a arquitetura de referência da empresa (Reference Architecture, RA) surge de uma pilha de decisões de configuração no nível do kernel do sistema operacional. Duas nuvens com GPUs H100 ou GB200 NVL72 idênticas podem apresentar training throughput fundamentalmente diferente se suas camadas de software estiverem configuradas de forma distinta da recomendada pela NVIDIA.

Para entender a escala: em um cluster de mil aceleradores, uma diferença de 10% equivale a dezenas de horas de tempo computacional por semana. Pelos preços de mercado de aluguel de GPU, isso significa perdas de centenas de milhares de dólares em produtividade por ano.

• Sistemas comparados: NVIDIA H100, GB200 NVL72, GB300 NVL72
• Diferença registrada: de 8% a 12% em training throughput
• Condição: mesma tarefa, mesmo modelo, mesmo tamanho global de batch
• Fonte da diferença: "pilha de decisões de configuração no nível do kernel", segundo o NVIDIA Developer Blog

O que é o NVIDIA Exemplar Cloud

O Exemplar Cloud é um programa de parceria da NVIDIA criado para ajudar provedores de nuvem a alcançar o desempenho da arquitetura de referência. A empresa analisa implantações específicas de parceiros, compara-as com a RA e identifica "gargalos" de configuração que reduzem silenciosamente a eficiência dos clusters. As áreas típicas de otimização incluem parâmetros de pilha de rede, configurações de NVLink e InfiniBand, configuração do kernel Linux e topologia NUMA.

O programa é particularmente relevante agora: GB200 NVL72 e GB300 NVL72 são os racks mais recentes da NVIDIA baseados na arquitetura Blackwell, que estão sendo massivamente implantados pelos maiores provedores mundiais em 2025–2026. A concorrência por clientes de AI ocorre no nível do throughput real, e uma diferença de 10% entre duas nuvens igualmente equipadas pode determinar o resultado de uma licitação importante.

"Consistentemente observamos uma diferença de 8% a 12% entre

instalações de parceiros e nossa arquitetura de referência na mesma tarefa, no mesmo modelo e no mesmo tamanho global de batch", afirma a publicação do NVIDIA Developer Blog.

O que isso significa

Para engenheiros de ML e equipes de DevOps que gerenciam clusters de GPU, a conclusão principal é simples: ter o hardware correto é condição necessária, mas não suficiente. Os 8–12% de desempenho perdidos na configuração representam dinheiro real e tempo real de treinamento de modelos. O Exemplar Cloud oferece uma abordagem sistemática: comparar sua implantação com a referência da NVIDIA e eliminar gargalos específicos, em vez de adivinhar por que o throughput está abaixo do máximo teórico. Para provedores de nuvem, atingir as métricas da RA torna-se simultaneamente uma vantagem competitiva e uma economia operacional.

Perguntas Frequentes

O que é a NVIDIA Reference Architecture?

A NVIDIA Reference Architecture (RA) é a configuração de referência de hardware e software que a NVIDIA publica para os sistemas H100, GB200 NVL72 e GB300 NVL72. Ela serve como ponto de partida: o desempenho da implantação do parceiro é comparado com a RA para identificar discrepâncias específicas.

Por que a diferença de 8–12% é crítica para cloud AI?

Em um cluster de centenas ou milhares de aceleradores GB200 NVL72, uma diferença de 10% no training throughput significa um equivalente de 10% a mais em custos computacionais — ou a mesma quantidade de receita perdida de aluguel de GPU em comparação com um concorrente em sistemas idênticos, mas com uma pilha melhor configurada.