Распределённое обучение ИИ меняет сети между ЦОД: 5 мкс на километр

Каждый километр оптоволокна добавляет около 5 микросекунд задержки. Для связи между двумя дата-центрами в 100 км это 0,5 мс в одну сторону и примерно 1 мс на круговой маршрут. При 500 км круговая задержка уже около 5 мс. Внутри одного зала с GPU она измеряется единицами-десятками микросекунд. Именно эту разницу в два-три порядка The Next Platform называет главной сложностью обучения на нескольких площадках. Материал вышел как спонсорский, и в доступном фрагменте нет данных конкретного вендора. Поэтому ниже разбор самой проблемы на основе физики и известных инженерных подходов.

Почему одного кампуса уже мало

Классерам на сотни тысяч ускорителей нужны сотни мегаватт, а иногда и гигаватты. Найти столько мощности в одной точке сети всё труднее: подключения к подстанциям ждут годами, площадки упираются в охлаждение и землю. Логичный ход — распределить кластер по нескольким кампусам в радиусе десятков или сотен километров и заставить их работать как единую машину. Тут и начинаются проблемы, потому что сетевая архитектура обучения строилась в расчёте на микросекунды.

Где ломается привычная архитектура

Синхронное обучение требует, чтобы после каждого шага GPU обменялись градиентами. Для модели в триллион параметров в bf16 это около 2 ТБ данных за итерацию (оценка, без учёта шардирования и сжатия). Один канал 800 Гбит/с передаёт примерно 100 ГБ/с, значит, на одной линии такой объём шёл бы десятки секунд. Поэтому между площадками нужны десятки и сотни параллельных каналов, а трафик приходится разбивать так, чтобы тяжёлые обмены оставались внутри здания.

Вторая проблема — потери и перегрузки. Современные сети для ИИ чувствительны к потере пакетов, а на длинном плече буфер коммутатора должен вмещать все данные, находящиеся «в полёте». Чем длиннее линия и выше скорость, тем глубже нужна буферизация. Отсюда интерес к сетевым чипам с большой памятью и к коммутаторам, рассчитанным на межплощадочные связи.

Ключевые параметры задачи:

• задержка в волокне: ~5 мкс/км, ~1 мс круговая на 100 км;
• канал: 800G когерентная оптика, десятки параллельных линий на пару площадок;
• объём обмена: порядка терабайт градиентов на шаг у моделей масштаба триллиона параметров;
• потери пакетов: критичны, нужна глубокая буферизация и управление перегрузкой;
• главный резерв: сокращение числа синхронизаций между площадками.

Что делают инженеры

Первый путь — аппаратный. Когерентные модули 800G ZR/ZR+ позволяют вести сигнал на сотни километров без отдельных транспондеров, а сетевые чипы нового поколения берут на себя буферизацию и балансировку трафика между кампусами. Второй путь — программный. Конвейерный параллелизм можно проложить поперёк площадок: активации между стадиями передаются реже и в меньшем объёме, чем градиенты. Плотный обмен тензорным параллелизмом остаётся внутри здания. Третий путь — менять сам алгоритм. Методы вроде DiLoCo синхронизируют веса раз в сотни шагов, а не на каждом, жертвуя частью эффективности ради терпимости к задержке. Компрессия градиентов и перекрытие вычислений с передачей помогают спрятать миллисекунды за работой GPU.

Практические выводы

Для операторов кластеров вопрос теперь сформулирован иначе: сколько миллисекунд можно спрятать за вычислениями. Если площадки разнесены на 50–100 км, потери умеренны и их можно скрыть. Дальше на 500 км без пересмотра параллелизма цена растёт быстро. Команде, которая планирует распределённое обучение, стоит заранее считать бюджет задержки и объём трафика между площадками, а не только число GPU. При выборе сетевого оборудования важны глубина буфера, поддержка 800G когерентной оптики и телеметрия по перегрузкам. Отдельный риск — спонсорская подача темы: сравнивайте заявления вендоров с собственными замерами на реальных нагрузках.