NVIDIA explique comment entraîner des transformers en précision réduite sans perte de qualité

NVIDIA a publié sur son Developer Blog un guide détaillé d'optimisation des architectures transformer pour l'entraînement en précision de calcul réduite, avec FP8 et BF16. L'article s'adresse aux ingénieurs qui veulent réduire le coût des exécutions d'entraînement sans dégrader la qualité du modèle.

Pourquoi les équipes en ont besoin

Les transformers sont au cœur de la plupart des modèles de langage et génératifs actuels. À mesure que leur taille passe de milliards à des dizaines de milliards de paramètres, le coût d'une seule exécution d'entraînement augmente de façon exponentielle. Chaque itération d'une expérience demande plus d'heures de GPU, ce qui ralentit et renchérit le développement.

En pratique, un entraînement lent n'est pas qu'une gêne technique. Il limite le nombre d'hypothèses qu'une équipe peut tester par trimestre et la taille de modèle qu'elle peut s'offrir. NVIDIA présente l'accélération des transformers non comme une optimisation, mais comme une condition pour rester compétitif.

Qu'est-ce que l'entraînement en basse précision

L'entraînement standard des réseaux de neurones utilise le format 32 bits (FP32), qui offre une grande précision numérique mais consomme beaucoup de mémoire et tourne plus lentement sur les GPU actuels. Réduire le nombre de bits permet de loger plus de données en mémoire vidéo et d'accélérer les opérations matricielles :

• FP16 : nombres à virgule flottante sur 16 bits ; pris en charge par la plupart des GPU actuels
• BF16 : Brain Float 16 ; plage dynamique plus large, mieux adapté à l'entraînement instable de grands modèles
• FP8 : format sur huit bits disponible sur l'architecture Hopper (H100, H200) ; double le débit des opérations matricielles par rapport au BF16
• INT8 : entier sur 8 bits ; plus souvent utilisé en inférence qu'en entraînement

La principale difficulté est de préserver la stabilité numérique avec une telle baisse de précision. Un passage naïf de FP32 à FP8 provoque des gradients divergents et un entraînement instable.

Les techniques recommandées par NVIDIA

Remplacer simplement le format ne fonctionne pas : NVIDIA décrit donc plusieurs approches éprouvées.

Précision mixte (mixed precision). Les poids sont stockés en FP32, tandis que les passes avant et arrière s'exécutent en FP16 ou BF16. On combine ainsi la vitesse du calcul en basse précision et la fiabilité d'un stockage des paramètres en pleine précision. C'est le standard de fait pour la plupart des pipelines d'entraînement actuels.

Mise à l'échelle de la perte (loss scaling). Le FP16 représente mal les très petits nombres : les gradients des dernières couches peuvent tomber à zéro. Le loss scaling augmente artificiellement la valeur de la fonction de perte avant la passe arrière, puis remet les gradients à l'échelle. Les implémentations actuelles le font de manière automatique et adaptative.

TransformerEngine. Bibliothèque spécialisée de NVIDIA qui gère automatiquement la précision au niveau de chaque couche du transformer. Elle prend en charge le FP8 sur Hopper et s'intègre à PyTorch, JAX et Megatron-LM. Plutôt que de réécrire tout le code d'entraînement, l'ingénieur branche TransformerEngine et obtient l'accélération FP8 avec un minimum de modifications.

« À mesure que les modèles grossissent, les exécutions d'entraînement consomment toujours plus d'heures de GPU et de temps d'ingénierie.

Cela influe directement sur la rapidité avec laquelle les équipes peuvent expérimenter et sur la taille de modèle qu'elles peuvent s'offrir », — NVIDIA Developer Blog.

Ce que cela signifie

Le guide paraît à un moment où l'efficacité de l'entraînement est devenue aussi importante que la précision du modèle. Les équipes équipées de H100 ou H200 reçoivent une consigne concrète : le FP8 via TransformerEngine est l'un des moyens les plus accessibles de réduire le budget GPU sans retoucher l'architecture. Pour les petits laboratoires, cela peut faire la différence entre entraîner un modèle de 70 milliards de paramètres et y renoncer pour des raisons de coût.