NVIDIA GB200: Computação em Escala Exascalar em um Rack através de Agendamento Inteligente de Tarefas

Modelos de IA em larga escala exigem enormes recursos computacionais, e verifica-se que a eficiência da infraestrutura depende não apenas do hardware, mas também de como as cargas de trabalho são alocadas. A NVIDIA lançou um guia detalhado sobre o uso do GB200 NVL72 com o agendador Slurm, que leva em conta a topologia de rede para distribuição ideal de computações em clusters distribuídos.

Máquina

Exascale em um Único Rack NVIDIA GB200 NVL72 é um sistema que empacota computações exascale (10^18 FLOP/seg) em um único rack. Tal poder permite executar modelos de IA em tempo real com trilhões de parâmetros, o que anteriormente exigia um data center inteiro. No entanto, alcançar o desempenho declarado é possível apenas se as tarefas forem dispostas corretamente — ou seja, se a topologia de rede física entre nós dentro do rack for considerada. A distribuição inadequada de carga de trabalho pode reduzir a largura de banda e anular todas as vantagens do hardware.

Topologia

Resolve Metade do Problema Quando vários aceleradores GPU trabalham juntos, o tempo de comunicação entre eles se torna um fator crítico. Se uma tarefa é distribuída entre nós que estão fisicamente distantes um do outro na hierarquia de rede, as latências crescem exponencialmente, e todo o potencial do hardware é simplesmente desperdiçado. É aqui que entra o Slurm (Simple Linux Utility for Resource Management) — o agendador padrão em clusters HPC, que agora possui suporte a agendamento ciente de topologia.

Isso significa que o Slurm pode: Visualizar o mapa completo da topologia de rede física entre todos os nós Alocar carga de trabalho computacional para que os nós que trocam dados fiquem próximos um do outro Levar em conta diferentes níveis de hierarquia (conectividade de alta velocidade intra-rack versus canais entre racks) Otimizar automaticamente a distribuição de tarefas multi-nó sem intervenção humana * Minimizar conflitos pelos recursos de rede entre trabalhos paralelos ## Como Funciona na Prática Para engenheiros que trabalham com modelos de trilhões de parâmetros, isso representa uma simplificação revolucionária. Em vez de otimizar manualmente o posicionamento de cada tarefa, um especialista simplesmente a envia para o Slurm — o agendador escolhe a melhor configuração com base na topologia e carga atual. A NVIDIA demonstra resultados concretos no GB200 NVL72: com agendamento ciente de topologia apropriado, o sistema atinge o desempenho exascale declarado com utilização total de largura de banda entre nós.

Sem essa otimização, o desempenho cai 30-50%, e o cluster opera no modo de um teste caro.

O poder total da infraestrutura é desbloqueado não tanto pela compra

de mais chips, mas por um algoritmo inteligente para distribuir tarefas entre o hardware existente.

O

Que Isso Significa A era em que era suficiente comprar mais equipamento e iniciar treinamento está terminando. Aqueles que treinam modelos muito grandes em clusters distribuídos agora precisam pensar sobre topologia e agendamento tão cuidadosamente quanto sobre GPUs e memória. O Slurm com suporte a topologia está se tornando uma parte obrigatória do stack de engenharia para clusters de IA sérios, sejam data centers corporativos ou provedores de nuvem.