NVIDIA масштабировала побитовый детерминизм в Megatron Core до 2432 GPU с 2% overhead

Проблема масштабного обучения и решение NVIDIA

При обучении моделей с триллионами параметров на тысячах GPU традиционные подходы к отладке ломаются. Множество измерений параллелизма, низкоточные вычисления (MXFP8, NVFP4) и распределённые контрольные точки усложняют воспроизведение ошибок и валидацию исправлений. NVIDIA внедрила в Megatron Core побитовый детерминизм — гарантию, что две запуски с одного стартового состояния пройдут идентичную числовую траекторию при неизменных данных, архитектуре, параллелизме и ПО.

Megatron Core предоставляет две ключевые гарантии: независимая воспроизводимость (две запуски, начатые из одного состояния, остаются побитово идентичны на каждом шаге) и битовое возобновление из контрольной точки (восстановление идентично непрерывному запуску). Это критично для дорогостоящего production-обучения — даже малый slowdown при триллионе параметров обходится в тысячи GPU-дней.

Четыре практических выигрыша

Побитовый детерминизм решает четыре задачи отладки и валидации:

• Воспроизведение ошибок — зафиксировать скачок loss на конкретном шаге, затем изменять по одному компоненту для изоляции причины • Непрерывность контрольных точек — возобновить прерванное обучение без смены численной траектории • Обнаружение дефектов — использовать несоответствия между иначе идентичными запусками для поиска corruption контрольных точек или проблем ПО и железа • Сравнение влияния изменений — отличить численный эффект намеренного изменения от естественной вариации между запусками

Методология отладки нондетерминизма

NVIDIA предложила в Megatron-LM PR #7262 систему прогрессивной трассировки с записью упорядоченных отпечатков тензоров по рангам. Процесс сужает область поиска от end-to-end метрик к конкретному kernel:

• End-to-end metrics — выявление первой итерации, где отличается сериализованная метрика (training loss, language-modeling loss, gradient norm, MTP loss) • Broad semantic tracing — покрытие collectives, pipeline communication, recomputation, optimizer operations и gradient reductions для определения расходящейся фазы обучения • Module and layer tracing — локализация по компоненту модели (Transformer layer, MoE-блок, optimizer stage) • Operation-level tracing — отпечатки ATen операций и extension calls для первой операции с совпадающими входами и разными выходами • Kernel-level tools — идентификация ответственного kernel и механизма нондетерминизма

Критически важно: не трассировать только итерацию с видимым разделением loss; первый расходящийся бит может появиться раньше. Broad трассировка находит самую раннюю расходящуюся итерацию и ранги, затем детальная трассировка включается только в узком окне.

Отпечатки вычисляются на GPU с помощью torch.hash_tensor (с записью shape, dtype и element count элементов). Для MXFP8 и NVFP4 отпечатаются закодированные значения и scale-буферы. Для order-sensitive данных (routing maps, MoE dispatch outputs) используется чанк-wise fingerprinting.

Оптимизация для триллион-параметрического Nemotron

Deterministic recipe с большими накладными расходами полезен для отладки, но слишком дорог для production. NVIDIA провела co-optimization deterministic и nondeterministic путей на гибридной модели Nemotron, сочетающей Mamba-style SSM-слои (state-space model) и Transformer attention-слои, оптимизируя три рабочих нагрузки:

• Nemotron 3 Ultra: снижение с ~17% до 2% после buffer-fill оптимизации, затем до 1,5% на 3072 GPU • Hybrid Triton proxy: снижение с ~60% до 37% после восстановления MoE-MLP fusion, затем до 2% • CuTeDSL optimized weight-gradient path: ~3,6% overhead на 256 GPU, затем ~2% на 2432 GPU

На 2432 GPU production recipe достигнул ~2% steady-state детерминизм-overhead с сохранением побитового детерминизма на протяжении 800 шагов обучения. Kernel-level оптимизации включают выделение private output slots для grouped-GEMM writers и применение фиксированного порядка редукции для сохранения параллелизма при восстановлении детерминистических результатов. Megatron Core валидирует рецепты, тестирует kernels и проверяет модули по всем конфигурациям параллелизма, включая поддержку низкоточных форматов FP8 и FP4.