Cómo el entrenamiento distribuido de IA está transformando las redes entre centros de datos

El entrenamiento de grandes modelos de lenguaje hace tiempo que superó los límites de un solo centro de datos. Google entrenó Gemini de forma sincrónica a través de clústeres en distintas ubicaciones geográficas. Microsoft conectó centros de datos de IA en Wisconsin y Georgia en una única supercomputadora distribuida. AWS conectó clústeres de cómputo de IA a largas distancias para Anthropic, desarrolladora de Claude. Meta construyó enlaces de alto rendimiento entre centros de datos para respaldar el entrenamiento de modelos. CoreWeave y Google Cloud anunciaron entrenamiento multinube a través de una interconexión privada; Azure planea seguir el mismo camino más adelante este año.

Esta dispersión geográfica responde a las limitaciones de un único centro de datos o clúster de campus, incapaz de satisfacer las exigencias de potencia y refrigeración. Cisco estima que entrenar un modelo moderno requiere clústeres con decenas de miles de GPU. Para 2030, los mayores entrenamientos de frontera consumirán entre 4 y 16 GW de potencia, según investigadores de Epoch AI. Distribuir el cómputo permite construir en ubicaciones con potencia y espacio más accesibles y con menos restricciones de planificación.

La sincronización como cuello de botella crítico

Entrenar una red neuronal es una repetición cíclica de cómputo y sincronización. En cada ciclo, miles de aceleradores (GPU, AWS Trainium, TPU de Google) deben intercambiar resultados y sincronizarse antes de la siguiente etapa. Las redes no transportan texto ni imágenes para entrenamiento, sino grandes matrices de datos numéricos: gradientes y resultados intermedios.

Cuando miles de aceleradores terminan su fase de cómputo al mismo tiempo y empiezan a comunicarse, surgen problemas de incast: muchos emisores convergen en un solo receptor, y el tráfico llega más rápido de lo que la línea puede soportar. El problema fundamental está en la propia sincronización: en un trabajo de entrenamiento sincrónico, el grupo de GPU más lento bloquea a todos los demás. El retraso de red se convierte en retraso de cómputo.

Ramesh Sivakolundu, arquitecto de Cisco Silicon One, lo explica así: «Cualquier trabajo de entrenamiento es una repetición de cómputo y sincronización. Calcular los pesos, comunicarlos para sincronizar cada GPU y luego reiniciar el cómputo. El tráfico en rachas ocurre periódicamente, y toda la red necesita completar el intercambio antes de la siguiente etapa».

Óptica coherente y buffers profundos

Dentro de un mismo centro de datos, la conectividad total entre racks de GPU se logra con un ancho de banda diseñado para ello. Pero para el scale-across (entrenamiento distribuido), el tráfico hacia otro centro de datos se reduce drásticamente: casi 14 veces menos que una línea base de DCI convencional, según estimaciones de Cisco. Una ráfaga sincronizada puede convertir ese tubo estrecho en un cuello de botella.

El DCI tradicional conecta centros de datos independientes para redundancia y distribución de cargas de trabajo; su tráfico es asíncrono: un flujo no tiene que terminar en lockstep con los demás. En el entrenamiento de IA con scale-across, la red entre sitios pasa a formar parte de un cómputo único y coordinado, que exige ancho de banda suficiente y entrega predecible.

El ancho de banda crece con la distancia. Dentro de un rack, se alcanzan hasta 800 Gb/s y 1,6 Tb/s en enlaces de cobre cortos. A escala de instalación se usan ópticas conectables para enlaces scale-out de cientos de metros a unos 2 km. El scale-across extiende esto a distancias metropolitanas o regionales, creando nuevos requisitos.

La óptica de corto alcance de los centros de datos no puede manejar 400-800 Gbps a cientos de kilómetros. Se necesita óptica coherente: una modulación sofisticada y procesamiento digital de señal (DSP) que compense la distorsión física en largas distancias. La cantidad de puertos necesaria es enorme: conectar dos sitios de IA de 100 megavatios requiere entre 12.000 y 32.000 puertos ópticos coherentes (frente a 1.000-2.000 de un DCI convencional entre instalaciones comparables). A 400-800 Gb/s por puerto, eso arroja una capacidad agregada de varios petabits.

Una solución inteligente son los módulos ópticos coherentes conectables: las longitudes de onda DWDM se generan directamente en los puertos del router, evitando un banco separado de transpondedores DWDM. El Optical Transport 3000 de Cisco, con un diseño multirraíl, reduce la potencia por raíl en un 75% y el espacio en rack en un 80%. Donde se necesita un sistema de transporte independiente, el NCS 1014 entrega 12,8 Tb/s desde una tarjeta de línea de 1RU.

Latencia, buffering y gestión de la congestión

A largas distancias, la retroalimentación sobre la congestión llega más lenta. En un enlace de 800 Gb/s a 100 km, unos 100 MB de datos ya están en tránsito en el momento en que el emisor se entera del problema. Las arquitecturas de buffer poco profundo, diseñadas para baja latencia dentro de un centro de datos, no son suficientes: se necesitan buffers profundos.

El buffering profundo absorbe ráfagas temporales mientras la gestión de tráfico y la señalización de congestión resuelven el problema. Un buffer compartido es un único conjunto de memoria distribuido dinámicamente entre puertos, lo que permite que un enlace saturado absorba ráfagas mayores sin pérdida de paquetes.

Cisco utiliza el Silicon One P200 (un procesador de enrutamiento programable de 51,2 Tb/s) en sus plataformas 8223 y N9000, combinado con módulos ópticos coherentes de 400G y 800G para enlaces de larga distancia. El P200 cuenta con un procesador de red programable y herramientas P4 que permiten añadir funciones por software sin cambiar el silicio. Para el scale-across, donde la topología y la gestión de tráfico siguen en fase experimental, esa flexibilidad es crítica.

La estrategia de Cisco es el codiseño: el ASIC de red se desarrolla años antes de que el router final esté listo, teniendo en cuenta los patrones predecibles de comunicación colectiva en el entrenamiento de IA. La gestión proactiva de la congestión dirige o programa el tráfico antes de una ráfaga predecible, mientras que el buffering profundo actúa como red de seguridad ante congestión transitoria y fallos de enlace. Ambos enfoques son complementarios: uno evita que se forme la cola, el otro le da a la red espacio para el tráfico cuando la cola se forma igualmente. El cifrado basado en hardware también está integrado, evitando un cuello de botella adicional de procesamiento en el tejido de entrenamiento.