Учёные Мичигана и NVIDIA встроят в Megatron-LM метод экономии до 50% энергии

Около половины энергии, которую расходуют на обучение ИИ, можно сэкономить без потери скорости и качества модели. К такому выводу пришли инженеры Мичиганского университета, создавшие для этого набор координируемых программных инструментов. Теперь они работают с NVIDIA над тем, чтобы встроить подход в Megatron-LM, открытую платформу компании для обучения больших моделей.

Где теряется энергия

Обучение крупной модели выглядит как непрерывная работа тысяч GPU на пределе. На деле часть этой работы оказывается лишней. Ускорители ждут друг друга, данные приходят с задержкой, а часть вычислений не лежит на критическом пути и могла бы выполняться медленнее без последствий для общего времени. Если при этом все карты потребляют энергию по максимуму, счёт за электричество растёт впустую.

В исходном сообщении технические детали не раскрыты, но заявленный результат понятен: примерно половина энергии, затрачиваемой на обучение, при правильной координации оказывается избыточной. Ранее та же исследовательская группа публиковала работы по снижению «энергетического раздува» при обучении больших моделей. Тогда речь шла о меньших цифрах, около 30%. Заявленные до 50% указывают на более широкий набор инструментов, но связь между этими проектами в источнике прямо не описана.

Почему важна интеграция в Megatron-LM

Исследовательский код редко попадает в реальные кластеры. Для этого он должен встроиться в стек, которым люди уже пользуются. Megatron-LM как раз такой стек: на нём и его компонентах строятся обучающие пайплайны для моделей с десятками и сотнями миллиардов параметров. Если метод станет частью платформы, его не придётся приносить в каждую команду отдельно, достаточно будет включить опцию или обновить версию.

Для NVIDIA здесь прямой интерес. Энергия и охлаждение давно стали ограничением для новых дата-центров, а доступная мощность на площадке нередко определяет размер кластера лучше, чем бюджет на железо. Софт, который на той же мощности даёт ту же скорость обучения при вдвое меньшем потреблении, фактически расширяет возможности уже построенной инфраструктуры.

Что известно на данный момент

• Заявленная экономия энергии при обучении: до 50%.
• Скорость и качество обучения, по словам авторов, не страдают.
• Разработчик: Мичиганский университет, инженерная школа.
• Партнёр: NVIDIA.
• Целевая платформа: Megatron-LM с открытым исходным кодом.
• Статус: интеграция в процессе, сроков в сообщении нет.

Стоит учитывать и то, чего в сообщении нет. Не указаны размеры моделей, на которых измеряли экономию, тип и число GPU, а также методика замера: считали энергию только ускорителей или всей системы. От этого зависит, насколько цифра воспроизводима на чужом кластере. Слова «до 50%» обозначают верхнюю границу, а не типичный результат.

Что делать командам, которые обучают модели

Пока интеграция не завершена, имеет смысл заранее подготовить базу для сравнения. Если вы обучаете модели на Megatron-LM, начните измерять энергопотребление на уровне GPU вместе с временем шага и пропускной способностью. Без этих данных вы не сможете проверить заявленную экономию и оценить, сколько вы на самом деле получили.

Следите за релизами Megatron-LM и репозиториями исследовательской группы: именно там появятся и код, и условия применимости метода. Для тех, кто планирует новые площадки, это повод пересчитать модель затрат. Если эффект подтвердится на реальных нагрузках, потребность в мощности под обучение может оказаться заметно ниже расчётной, а значит, изменятся и параметры питания, и контракты с поставщиками энергии.