Treinamento distribuído de IA muda as redes entre data centers: 5 µs por quilômetro

Cada quilômetro de fibra óptica adiciona cerca de 5 microssegundos de latência. Em uma ligação entre dois data centers a 100 km de distância, são 0,5 ms em um sentido e cerca de 1 ms no trajeto de ida e volta. A 500 km, a latência de ida e volta já chega a cerca de 5 ms.

Dentro de um único salão com GPUs, ela é medida em unidades ou dezenas de microssegundos. É essa diferença de duas a três ordens de grandeza que o The Next Platform aponta como o principal desafio do treinamento em vários sites. O material foi publicado como conteúdo patrocinado, e o trecho disponível não traz dados de nenhum fornecedor específico.

Por isso, a análise abaixo trata do problema em si, com base na física e em abordagens de engenharia conhecidas.

Por que um único campus já não basta

Clusters com centenas de milhares de aceleradores exigem centenas de megawatts, às vezes gigawatts. Encontrar tanta potência em um único ponto da rede é cada vez mais difícil: as conexões com subestações levam anos, e os sites esbarram em limites de refrigeração e de terreno. A saída lógica é distribuir o cluster por vários campi em um raio de dezenas ou centenas de quilômetros e fazê-los funcionar como uma única máquina. É aí que surgem os problemas, porque a arquitetura de rede do treinamento foi concebida para operar na escala de microssegundos.

Onde a arquitetura tradicional falha

O treinamento síncrono exige que, ao fim de cada passo, as GPUs troquem gradientes entre si. Para um modelo de um trilhão de parâmetros em bf16, isso dá cerca de 2 TB de dados por iteração (estimativa, sem considerar sharding e compressão). Um único canal de 800 Gbps transmite cerca de 100 GB/s, o que significa que, em uma só linha, esse volume levaria dezenas de segundos. Por isso, entre os sites são necessárias dezenas ou centenas de conexões paralelas, e o tráfego precisa ser dividido de modo que as trocas mais pesadas permaneçam dentro do prédio.

O segundo problema são as perdas e o congestionamento. As redes modernas para IA são sensíveis à perda de pacotes e, em um trecho longo, o buffer do switch precisa comportar todos os dados que estão "em trânsito". Quanto mais longa a linha e maior a velocidade, mais profundo precisa ser o buffer. Daí o interesse em chips de rede com muita memória e em switches projetados para enlaces entre sites.

Principais parâmetros do problema:

• latência na fibra: ~5 µs/km, ~1 ms de ida e volta a 100 km;
• canal: óptica coerente 800G, dezenas de linhas paralelas para cada par de sites;
• volume de troca: da ordem de terabytes de gradientes por passo em modelos na escala de um trilhão de parâmetros;
• perda de pacotes: crítica, exige buffers profundos e controle de congestionamento;
• principal margem de ganho: reduzir o número de sincronizações entre sites.

O que os engenheiros estão fazendo

O primeiro caminho é o de hardware. Os módulos coerentes 800G ZR/ZR+ permitem transmitir o sinal por centenas de quilômetros sem transponders dedicados, enquanto os chips de rede de nova geração assumem o buffering e o balanceamento de tráfego entre campi. O segundo caminho é o de software.

O paralelismo de pipeline pode ser distribuído entre os sites: as ativações passam entre os estágios com menos frequência e em volume menor do que os gradientes. A troca intensa do paralelismo de tensores continua dentro do prédio. O terceiro caminho é mudar o próprio algoritmo.

Métodos como o DiLoCo sincronizam os pesos a cada centenas de passos, e não a cada um, sacrificando parte da eficiência em troca de tolerância à latência. A compressão de gradientes e a sobreposição entre computação e transmissão ajudam a esconder os milissegundos atrás do trabalho das GPUs.

Conclusões práticas

Para quem opera clusters, a pergunta agora é outra: quantos milissegundos é possível esconder atrás da computação. Se os sites estão a 50–100 km de distância, as perdas são moderadas e podem ser escondidas. Já a 500 km, sem rever o paralelismo, o custo sobe rápido.

Uma equipe que planeja treinamento distribuído deve calcular de antemão o orçamento de latência e o volume de tráfego entre os sites, e não apenas o número de GPUs. Na escolha do equipamento de rede, importam a profundidade do buffer, o suporte a óptica coerente 800G e a telemetria de congestionamento. Há ainda um risco à parte: o tema foi apresentado em conteúdo patrocinado, então compare as afirmações dos fornecedores com medições próprias em cargas de trabalho reais.