Como o treinamento distribuído de IA está reformulando as redes entre data centers

O treinamento de grandes modelos de linguagem há muito ultrapassou os limites de um único data center. O Google treinou o Gemini de forma sincronizada em clusters localizados em regiões geográficas diferentes. A Microsoft conectou data centers de IA em Wisconsin e na Geórgia em um único supercomputador distribuído. A AWS conectou clusters de computação de IA a longas distâncias para a Anthropic, que desenvolve o Claude. A Meta construiu links de alto desempenho entre data centers para sustentar o treinamento de modelos. CoreWeave e Google Cloud anunciaram treinamento multicloud por meio de uma interconexão privada; a Azure planeja seguir o mesmo caminho ainda este ano.

Essa dispersão geográfica decorre das limitações de um único data center ou cluster de campus, incapaz de atender às exigências de energia e refrigeração. A Cisco estima que treinar um modelo moderno exige clusters com decenas de milhares de GPUs. Até 2030, os maiores treinamentos de fronteira consumirão entre 4 e 16 GW de potência, segundo pesquisadores da Epoch AI. Distribuir a computação permite construir em locais com energia e espaço mais acessíveis e menos restrições de licenciamento.

A sincronização como gargalo crítico

Treinar uma rede neural é uma repetição cíclica de computação e sincronização. Em cada ciclo, milhares de aceleradores (GPUs, AWS Trainium, TPUs do Google) precisam trocar resultados e se sincronizar antes da próxima etapa. As redes não transportam texto ou imagens para treinamento, mas grandes blocos de dados numéricos: gradientes e resultados intermediários.

Quando milhares de aceleradores terminam a fase de computação ao mesmo tempo e começam a se comunicar, surgem problemas de incast: muitos remetentes convergem para um único receptor, e o tráfego chega mais rápido do que o link consegue suportar. O problema fundamental está na própria sincronização: em um job de treinamento sincrônico, o grupo de GPUs mais lento bloqueia todos os outros. O atraso de rede se transforma em atraso de computação.

Ramesh Sivakolundu, arquiteto do Cisco Silicon One, explica: "Qualquer job de treinamento é uma repetição de computação e sincronização. Calcular os pesos, comunicá-los para sincronizar cada GPU e depois reiniciar a computação. O tráfego em picos acontece periodicamente, e toda a rede precisa concluir a troca antes da próxima etapa."

Óptica coerente e buffers profundos

Dentro de um mesmo data center, a conectividade total entre racks de GPU é alcançada com banda projetada para isso. Mas para o scale-across (treinamento distribuído), o tráfego para outro data center se estreita drasticamente — quase 14 vezes menos do que uma linha de base de DCI comum, segundo estimativas da Cisco. Uma rajada sincronizada pode transformar esse tubo estreito em um gargalo.

O DCI tradicional conecta data centers independentes para redundância e distribuição de cargas de trabalho; seu tráfego é assíncrono — um fluxo não precisa terminar em lockstep com os outros. No treinamento de IA com scale-across, a rede entre sites passa a fazer parte de uma computação única e coordenada, exigindo banda suficiente e entrega previsível.

A banda aumenta com a distância. Dentro de um rack, chega-se a até 800 Gb/s e 1,6 Tb/s em links de cobre curtos. Na escala da instalação, usam-se ópticas plugáveis para links scale-out de centenas de metros a cerca de 2 km. O scale-across estende isso a distâncias metropolitanas ou regionais, criando novos requisitos.

A óptica de curto alcance dos data centers não suporta 400-800 Gbps por centenas de quilômetros. É preciso óptica coerente: modulação sofisticada e processamento digital de sinal (DSP) compensam a distorção física em longas distâncias. A quantidade de portas necessária é enorme: conectar dois sites de IA de 100 megawatts exige de 12.000 a 32.000 portas ópticas coerentes (contra 1.000-2.000 em um DCI comum entre instalações comparáveis). A 400-800 Gb/s por porta, isso resulta em capacidade agregada de vários petabits.

Uma solução inteligente são os módulos ópticos coerentes plugáveis: os comprimentos de onda DWDM são gerados diretamente nas portas do roteador, evitando um banco separado de transponders DWDM. O Optical Transport 3000 da Cisco, com design multi-rail, reduz a potência por rail em 75% e o espaço em rack em 80%. Onde é necessário um sistema de transporte dedicado, o NCS 1014 entrega 12,8 Tb/s a partir de um line card 1RU.

Latência, buffering e gerenciamento de congestionamento

Em longas distâncias, o feedback sobre congestionamento chega mais lento. Em um link de 800 Gb/s a 100 km, cerca de 100 MB de dados já estão em trânsito no momento em que o remetente descobre o problema. Arquiteturas de buffer raso, projetadas para baixa latência dentro de um data center, não são suficientes: são necessários buffers profundos.

O buffering profundo absorve rajadas temporárias enquanto o gerenciamento de tráfego e a sinalização de congestionamento resolvem o problema. Um buffer compartilhado é um único pool de memória distribuído dinamicamente entre as portas, permitindo que um link sobrecarregado absorva rajadas maiores sem perda de pacotes.

A Cisco usa o Silicon One P200 (um processador de roteamento programável de 51,2 Tb/s) em suas plataformas 8223 e N9000, combinado com módulos ópticos coerentes de 400G e 800G para links de longa distância. O P200 tem um processador de rede programável e ferramentas P4, que permitem adicionar recursos via software sem alterar o silício. Para o scale-across, em que topologia e gerenciamento de tráfego ainda estão em fase experimental, essa flexibilidade é fundamental.

A estratégia da Cisco é o codesign: o ASIC de rede é desenvolvido anos antes de o roteador final estar pronto, levando em conta os padrões previsíveis de comunicação coletiva no treinamento de IA. O gerenciamento proativo de congestionamento direciona ou programa o tráfego antes de uma rajada previsível, enquanto o buffering profundo serve como rede de segurança para congestionamentos transitórios e falhas de link. As duas abordagens são complementares: uma evita que a fila se forme, a outra dá à rede espaço para o tráfego quando a fila se forma de qualquer maneira. A criptografia baseada em hardware também está integrada, evitando um gargalo adicional de processamento no tecido de treinamento.