L'Université de Twente réduit de 14 % la consommation d'énergie de l'entraînement des LLM

Des chercheurs de l'Université de Twente, aux Pays-Bas, ont mis au point une méthode qui permet d'économiser jusqu'à 14 % de l'énergie consommée pour entraîner de grands modèles de langage, sans ralentir l'entraînement. La technique repose sur le contrôle dynamique de la fréquence d'horloge du GPU et s'applique pour la première fois à un niveau de détail aussi fin.

Comment fonctionne le DVFS

Le DVFS (dynamic voltage-frequency scaling) est une technique connue qui modifie la fréquence d'horloge du GPU en fonction de la charge de calcul du moment. Chaque opération dans la puce est déclenchée par une impulsion d'horloge, et la fréquence de ces impulsions détermine à la fois la vitesse du GPU et sa consommation d'énergie.

Les GPU modernes disposent de deux systèmes d'horloge indépendants : l'un pour le cœur de calcul, l'autre pour le bloc mémoire. Quand le cœur calcule intensément, son horloge tourne à haute fréquence, tandis que celle de la mémoire peut être ralentie. Quand le cœur attend des données de la mémoire, c'est l'inverse : le cœur peut ralentir et la mémoire accélérer. Cet équilibre réduit la consommation globale d'énergie sans perte de performances.

Pourquoi les méthodes précédentes ont échoué

Le DVFS existe depuis les années 1990, mais l'appliquer à l'entraînement des LLM s'est avéré plus difficile que prévu. Les tentatives précédentes ralentissaient trop le calcul ou manquaient de souplesse. Le problème principal : la plupart des méthodes ne réglaient la fréquence qu'au niveau d'itérations d'entraînement entières (forward pass et backpropagation), ce qui était trop grossier pour une optimisation efficace.

Une innovation au niveau des kernels

L'équipe de Jeffrey Spaan a choisi de modifier la fréquence à une échelle bien plus fine : celle des kernels individuels (blocs de calcul élémentaires). Le calcul sur GPU se décompose en minuscules opérations ; par exemple, une multiplication de vecteurs constitue un kernel. L'entraînement d'une seule couche de réseau de neurones lance environ 40 kernels de ce type. En ajustant la fréquence de chaque kernel séparément, l'équipe a pu obtenir des économies d'énergie bien plus importantes :

• Réglage au niveau de blocs de calcul individuels plutôt que d'itérations entières
• La prédiction du kernel suivant permet de fixer à l'avance la bonne fréquence
• Économie d'énergie moyenne de 14 % pour un ralentissement de seulement 0,6 %
• Le DVFS automatique du GPU est moins efficace, car il ne peut pas anticiper les étapes suivantes

Résultats et limites

L'expérience a été menée sur le modèle GPT-3-XL (1,3 milliard de paramètres) avec un GPU Nvidia RTX 3080 Ti. Résultat : 14 % d'économie d'énergie pour un ralentissement de seulement 0,6 %.

« Nous optimisons les économies d'énergie sans perdre en performances.

Dans le monde réel, la performance est le Saint Graal », déclare Jeffrey Spaan.

Une limite : le changement de fréquence prend du temps, même si c'est moins que d'éteindre puis de rallumer complètement le cœur. Les calculs des chercheurs n'en tenaient pas compte ; les 14 % correspondent donc au meilleur scénario. Les GPU plus récents, comme Nvidia Blackwell, changent de fréquence bien plus vite et pourront mieux exploiter ces économies.

Ce que cela signifie

Si la méthode de Spaan est adoptée par l'industrie, des milliards de wattheures d'énergie pourraient être économisés lors de l'entraînement des modèles de pointe. Cela réduirait l'empreinte carbone de l'industrie de l'IA et ses coûts d'exploitation, sans exiger d'investissement dans du nouveau matériel.