El entrenamiento distribuido de IA cambia las redes entre centros de datos: 5 µs por kilómetro

Cada kilómetro de fibra óptica añade unos 5 microsegundos de latencia. Para conectar dos centros de datos separados por 100 km, eso supone 0,5 ms en un sentido y aproximadamente 1 ms en el trayecto de ida y vuelta. A 500 km, la latencia de ida y vuelta ya ronda los 5 ms.

Dentro de una sola sala con GPU, se mide en unidades o decenas de microsegundos. The Next Platform señala precisamente esa diferencia de dos a tres órdenes de magnitud como la principal dificultad del entrenamiento en varios emplazamientos. El artículo se publicó como contenido patrocinado y el fragmento disponible no incluye datos de ningún proveedor concreto.

Por eso, a continuación se analiza el problema en sí, a partir de la física y de los enfoques de ingeniería conocidos.

Por qué un solo campus ya no basta

Los clústeres de cientos de miles de aceleradores necesitan cientos de megavatios y, a veces, gigavatios. Cada vez es más difícil encontrar tanta potencia en un único punto de la red: las conexiones a subestaciones tardan años y los emplazamientos chocan con límites de refrigeración y de terreno. La salida lógica es repartir el clúster entre varios campus situados a decenas o cientos de kilómetros y hacer que funcionen como una sola máquina. Ahí empiezan los problemas, porque la arquitectura de red del entrenamiento se diseñó pensando en microsegundos.

Dónde se rompe la arquitectura habitual

El entrenamiento síncrono exige que, tras cada paso, las GPU intercambien gradientes. Para un modelo de un billón de parámetros en bf16, eso supone unos 2 TB de datos por iteración (estimación, sin tener en cuenta el sharding ni la compresión). Un solo enlace de 800 Gbit/s transmite aproximadamente 100 GB/s, de modo que por una única línea ese volumen tardaría decenas de segundos. Por eso entre sedes hacen falta decenas o cientos de canales paralelos, y el tráfico debe dividirse de manera que los intercambios pesados se queden dentro del edificio.

El segundo problema son las pérdidas y la congestión. Las redes modernas para IA son sensibles a la pérdida de paquetes y, en un tramo largo, el buffer del conmutador debe alojar todos los datos que están «en vuelo». Cuanto más larga es la línea y mayor la velocidad, más profundo tiene que ser el buffer. De ahí el interés por los chips de red con mucha memoria y por los conmutadores diseñados para enlaces entre emplazamientos.

Parámetros clave del problema:

• latencia en la fibra: ~5 µs/km, ~1 ms de ida y vuelta a 100 km;
• enlace: óptica coherente 800G, decenas de líneas paralelas por cada par de sedes;
• volumen de intercambio: del orden de terabytes de gradientes por paso en modelos de escala de un billón de parámetros;
• pérdida de paquetes: crítica; se necesitan buffers profundos y control de congestión;
• principal margen de mejora: reducir el número de sincronizaciones entre sedes.

Qué hacen los ingenieros

La primera vía es el hardware. Los módulos coherentes 800G ZR/ZR+ permiten transmitir la señal a cientos de kilómetros sin transpondedores independientes, y los chips de red de nueva generación se encargan del buffering y del balanceo del tráfico entre campus. La segunda vía es el software.

El paralelismo de pipeline puede extenderse a través de los emplazamientos: las activaciones entre etapas se transmiten con menos frecuencia y en menor volumen que los gradientes. El intercambio denso del paralelismo tensorial se mantiene dentro del edificio. La tercera vía consiste en cambiar el propio algoritmo.

Métodos como DiLoCo sincronizan los pesos una vez cada cientos de pasos, y no en cada uno, a costa de perder parte de la eficiencia a cambio de tolerar la latencia. La compresión de gradientes y el solapamiento del cómputo con la transmisión ayudan a ocultar los milisegundos detrás del trabajo de las GPU.

Conclusiones prácticas

Para los operadores de clústeres, la pregunta ahora es otra: cuántos milisegundos se pueden ocultar tras el cómputo. Si las sedes están separadas por 50–100 km, las pérdidas son moderadas y se pueden disimular. Más allá, a 500 km, sin revisar el paralelismo el coste crece rápidamente.

Un equipo que planee un entrenamiento distribuido debería calcular de antemano el presupuesto de latencia y el volumen de tráfico entre emplazamientos, y no solo el número de GPU. Al elegir equipos de red importan la profundidad del buffer, la compatibilidad con óptica coherente 800G y la telemetría de congestión. Un riesgo añadido es el carácter patrocinado del artículo: conviene contrastar las afirmaciones de los proveedores con mediciones propias en cargas de trabajo reales.