NVIDIA met au point une méthode pour entraîner des réseaux de neurones en précision 4 bits

NVIDIA a dévoilé NVFP4, une nouvelle méthodologie pour entraîner des réseaux de neurones en précision 4 bits. Elle permet d'économiser sensiblement de la mémoire et des ressources de calcul lors de l'entraînement de grands modèles.

Comment ça marche

L'approche standard utilise une précision de 8 bits (FP8) ou de 16 bits (BF16) pour stocker les résultats intermédiaires et les gradients d'entraînement. NVIDIA a réussi à diviser par deux ces besoins en mémoire en passant au format 4 bits NVFP4.

La méthode ne se contente pas de rogner la précision : elle combine plusieurs techniques, dont l'usage sélectif du BF16, plus précis, sur les couches critiques du modèle, des transformations mathématiques spéciales des données d'entrée des gradients (transformations aléatoires de Hadamard 16×16) et un arrondi stochastique lors des calculs.

L'entraînement en 4 bits passait traditionnellement pour risqué : sur de longues sessions, les erreurs d'arrondi s'accumulent et dégradent le modèle. L'entreprise a testé NVFP4 sur un modèle hybride Mamba-Transformer de 12 milliards de paramètres, entraîné sur 10 000 milliards de tokens, la plus longue expérience publique d'entraînement en 4 bits. Cela montre qu'avec la bonne méthodologie, les erreurs numériques ne s'accumulent pas de façon catastrophique.

Des résultats supérieurs aux attentes

La métrique clé était la précision sur le benchmark MMLU-Pro, un vaste test de connaissances couvrant les mathématiques, les sciences naturelles, les sciences humaines et d'autres domaines. Le modèle NVFP4 a obtenu 62.58 %, soit à peine 0.04 % de moins que le modèle entraîné avec la méthode FP8 traditionnelle (62.62 %). Pour les applications pratiques, cet écart est totalement négligeable : la précision reste dans la marge d'erreur de la mesure.

Avec une économie de mémoire d'un facteur deux, c'est un cas rare où la baisse de précision de la représentation des nombres n'a pas entraîné de dégradation notable de la qualité des résultats. Autrement dit, NVFP4 ne sacrifie pas l'exactitude au profit des économies de ressources.

• Réduction de la mémoire : 2 fois par rapport au FP8
• Perte de précision sur le benchmark : moins de 0.1 %
• Échelle de l'expérience : 10 000 milliards de tokens
• Architecture : modèle hybride Mamba-Transformer de 12 milliards de paramètres

Ce que cela change pour l'industrie

Le résultat intéresse les entreprises qui entraînent des modèles à partir de zéro. Diviser la mémoire par deux signifie que le même volume de calcul peut être effectué plus vite et à moindre coût, ou que les ressources économisées peuvent servir à entraîner des modèles plus grands. Si votre entreprise entraîne un modèle sur 1000 GPU-jours A100, NVFP4 pourrait ramener ce chiffre à 500 GPU-jours tout en préservant la qualité.

Pour les chercheurs, cela ouvre de nouvelles possibilités d'expérimentation avec les architectures, les volumes de données et les hyperparamètres. Il sera plus facile de tester de nouvelles idées sur des modèles plus grands en une journée que sur des modèles plus petits en une semaine.

Toutefois, la méthode nécessite encore une validation supplémentaire sur d'autres types de modèles, notamment sur des transformers purs et des modèles de structure différente. Pour l'instant, NVIDIA n'a présenté des résultats que sur l'architecture hybride Mamba-Transformer.

Il faut aussi comprendre que l'entraînement en 4 bits est une technique spécialisée, qui exige des optimisations logicielles particulières et un support matériel (pour l'instant, le support complet n'existe que sur les GPU NVIDIA).