Des chercheurs du Michigan et NVIDIA vont intégrer à Megatron-LM une méthode qui économise jusqu'à 50% d'énergie

Environ la moitié de l'énergie dépensée pour entraîner une IA peut être économisée sans perte de vitesse ni de qualité du modèle. C'est la conclusion des ingénieurs de l'université du Michigan, qui ont conçu pour cela un ensemble d'outils logiciels coordonnés. Ils travaillent maintenant avec NVIDIA pour intégrer cette approche à Megatron-LM, la plateforme ouverte de l'entreprise dédiée à l'entraînement des grands modèles.

Où l'énergie se perd

L'entraînement d'un grand modèle ressemble à un travail ininterrompu de milliers de GPU poussés à leur limite. En réalité, une partie de ce travail est superflue. Les accélérateurs s'attendent les uns les autres, les données arrivent avec du retard, et certains calculs ne se trouvent pas sur le chemin critique : ils pourraient s'exécuter plus lentement sans conséquence sur la durée totale. Si toutes les cartes consomment alors au maximum, la facture d'électricité grimpe pour rien.

Le communiqué d'origine ne détaille pas la technique, mais le résultat annoncé est clair : avec une coordination adaptée, environ la moitié de l'énergie dépensée à l'entraînement se révèle excédentaire. Le même groupe de recherche avait déjà publié des travaux sur la réduction du « gonflement énergétique » lors de l'entraînement des grands modèles. Les chiffres étaient alors plus modestes, autour de 30%. Les « jusqu'à 50% » annoncés suggèrent un ensemble d'outils plus large, mais la source ne décrit pas explicitement le lien entre ces projets.

Pourquoi l'intégration à Megatron-LM est importante

Le code issu de la recherche arrive rarement dans les clusters réels. Pour cela, il doit s'insérer dans une pile logicielle que les équipes utilisent déjà. Megatron-LM en est une : c'est sur cette plateforme et ses composants que reposent les pipelines d'entraînement de modèles de plusieurs dizaines, voire centaines de milliards de paramètres. Si la méthode devient une brique de la plateforme, il ne sera pas nécessaire de la déployer séparément dans chaque équipe : il suffira d'activer une option ou de mettre à jour la version.

NVIDIA y trouve un intérêt direct. L'énergie et le refroidissement limitent depuis longtemps les nouveaux data centers, et la puissance disponible sur un site détermine souvent la taille d'un cluster mieux que le budget matériel. Un logiciel qui offre la même vitesse d'entraînement avec une consommation réduite de moitié, à puissance égale, étend de fait les capacités d'une infrastructure déjà construite.

Ce que l'on sait à ce stade

• Économie d'énergie annoncée à l'entraînement : jusqu'à 50%.
• Vitesse et qualité de l'entraînement préservées, selon les auteurs.
• Développeur : université du Michigan, école d'ingénierie.
• Partenaire : NVIDIA.
• Plateforme cible : Megatron-LM, en open source.
• Statut : intégration en cours, aucun calendrier dans le communiqué.

Il faut aussi tenir compte de ce que le communiqué ne dit pas. Il n'indique ni la taille des modèles sur lesquels l'économie a été mesurée, ni le type et le nombre de GPU, ni la méthode de mesure : l'énergie des seuls accélérateurs a-t-elle été comptabilisée, ou celle du système entier ? De ces éléments dépend la reproductibilité du chiffre sur le cluster d'une autre équipe. Les mots « jusqu'à 50% » désignent une borne supérieure, pas un résultat typique.

Que faire pour les équipes qui entraînent des modèles

Tant que l'intégration n'est pas terminée, il est judicieux de préparer dès maintenant une base de comparaison. Si vous entraînez des modèles sur Megatron-LM, commencez à mesurer la consommation d'énergie au niveau des GPU, en parallèle du temps par étape et du débit. Sans ces données, vous ne pourrez ni vérifier l'économie annoncée ni évaluer ce que vous avez réellement gagné.

Suivez les versions de Megatron-LM et les dépôts du groupe de recherche : c'est là que paraîtront à la fois le code et les conditions d'application de la méthode. Pour ceux qui planifient de nouveaux sites, c'est l'occasion de recalculer le modèle de coûts. Si l'effet se confirme sur des charges de travail réelles, la puissance nécessaire à l'entraînement pourrait s'avérer sensiblement inférieure aux estimations, ce qui modifierait aussi les paramètres d'alimentation électrique et les contrats avec les fournisseurs d'énergie.