Как распределённое обучение ИИ переделывает сети между датацентрами

Обучение больших языковых моделей давно вышло за пределы одного датацентра. Google обучал Gemini синхронно через кластеры в разных географических локациях. Microsoft соединила AI датацентры в Wisconsin и Georgia в единый распределённый суперкомпьютер. AWS соединила AI вычислительные кластеры на больших расстояниях для Anthropic, разрабатывающей Claude. Meta построила высокопроизводительные межцентровые связи для поддержки обучения моделей. CoreWeave и Google Cloud объявили кросс-облачное обучение через приватный interconnect; Azure планирует последовать позже в году.

Географическая дисперсия вызвана ограничениями одного датацентра или campus-кластера, который не справляется с требованиями к мощности и охлаждению. Cisco оценивает, что обучение современной модели требует кластеры с десятками тысяч GPU. К 2030 году крупнейшие фронтирные запуски обучения будут потреблять 4–16 ГВт мощности, согласно исследователям Epoch AI. Распределение вычислений позволяет строить в локациях с более доступной мощностью, пространством и меньшими ограничениями планирования.

Синхронизация как критическое узкое место

Обучение нейросети — это циклическое повторение compute и synchronization. На каждом цикле thousands accelerators (GPU, AWS Trainium, Google TPU) должны обменяться результатами и синхронизироваться перед следующей стадией. Сети переносят не текст или изображения для обучения, а большие массивы численных данных: градиенты и промежуточные результаты.

Когда thousands accelerators одновременно заканчивают compute-фазу и начинают коммуницировать, возникают incast-проблемы: много отправителей сходятся на один приёмник, и трафик прибывает быстрее, чем линия его выдержит. Фундаментальная проблема в синхронизации: в synchronous training job отстающая группа GPU блокирует все остальные. Network delay становится compute delay. Ramesh Sivakolundu, архитектор Cisco Silicon One, объясняет: «Любая training job — это повторение compute и синхронизации. Compute weights, коммуницировать их чтобы синхронизировать каждый GPU, потом перезапустить compute. Bursty traffic случается периодически, и всей сети нужно завершить exchange перед следующей стадией».

Когерентная оптика и глубокие буферы

Внутри одного датацентра полная сетевая связность GPU-rack достигается спроектированной пропускной способностью. Но для scale-across (распределённое обучение) трафик к другому датацентру сужается: едва ли не в 14× раз меньше, чем обычный DCI baseline, по оценкам Cisco. Synchronized burst может превратить эту узкую трубку в bottleneck.

Традиционный DCI соединяет независимые датацентры для redundancy и workload distribution; его трафик асинхронен — один flow не обязан финишировать в lockstep с другими. В scale-across AI training inter-site network становится частью единой координированной computations, требуя sufficient bandwidth и predictable delivery.

Пропускная способность растёт с расстанием. Внутри стойки — до 800 Gb/s и 1.6 Tb/s на коротких медных линиях. На масштаб facility используют pluggable optics: scale-out links от сотен метров до ~2 км. Scale-across расширяет это на metro или региональные расстояния, создавая new requirements.

Short-range датацентровая оптика не справляется с 400–800 Gbps на сотни километров. Нужна coherent optics: sophisticated modulation и цифровая обработка сигнала (DSP) компенсируют физические искажения на дальних расстояниях. Требуемое количество портов огромно: для соединения двух 100-мегаватных AI сайтов нужно 12 000–32 000 coherent optical портов (vs 1 000–2 000 для обычной DCI между сопоставимыми facilities). При 400–800 Gb/s на порт это даёт multi-petabit aggregate capacity.

Smart решение — coherent pluggables: DWDM wavelengths генерируются прямо в портах маршрутизатора, избегая отдельного банка DWDM transponders. Cisco Open Transport 3000 с multi-rail дизайном снижает power per rail на 75%, rack space на 80%. Где нужна отдельная transport система, NCS 1014 даёт 12.8 Tb/s из 1RU line card.

Задержка, буферирование, управление перегрузкой

На дальних расстояниях feedback о перегрузке доходит медленнее. На 800 Gb/s связи через 100 км примерно 100 МБ данных уже в пути, пока sender узнает о проблеме. Shallow-buffer архитектуры для низкой latency внутри датацентра не справляются: нужны deep buffers.

Glубокое буферирование поглощает temporary bursts пока traffic management и congestion signaling решают проблему. Shared buffer — единый пул памяти, распределяемый динамически между портами. Это позволяет busy link абсорбировать larger burst без packet loss.

Cisco использует Silicon One P200 (51.2 Tb/s programmable routing processor) в платформах 8223 и N9000, paired с 400G и 800G coherent pluggables для дальних линий. P200 имеет programmable network processor и P4 tooling, позволяющие добавлять features в software, не меняя кремний. Для scale-across, где topology и traffic-management ещё в экспериментах, такая гибкость критична.

Стратегия Cisco — co-design: networking ASIC разрабатывается годами перед готовым маршрутизатором, учитывая predictable collective communication в AI training. Proactive congestion management стирует или schedule трафик перед predictable burst, deep buffering служит safety net для transient congestion и link failures. Оба подхода complementary: один избегает очереди, другой даёт сети место для трафика, когда очередь всё же формируется. Hardware-based encryption protection интегрирована, избегая дополнительного processing bottleneck на training fabric.