Les formats 16 bits divisent par deux la mémoire occupée par les poids sans modifier l’architecture

Pour un même modèle de 7 milliards de paramètres, les poids peuvent occuper environ 28 Go en FP32, 14 Go en FP16 ou BF16, et 7 Go en 8 bits. L’architecture reste inchangée : seule la manière de stocker les nombres évolue. Le bénéfice paraît évident : moins de mémoire et moins de données à transférer entre la mémoire et les unités de calcul devraient permettre au modèle de répondre plus rapidement.

C’est pourtant précisément là que la confusion commence généralement. Réduire le nombre de bits ne garantit pas une accélération. Si le processeur ou la carte graphique ne sait pas exécuter efficacement les opérations dans le format choisi, l’environnement ajoutera des conversions, basculera vers un noyau plus lent ou interrompra complètement le calcul avec une erreur. Une plage de valeurs trop étroite peut également transformer une activation élevée en valeur infinie ou effacer de faibles écarts entre les nombres.

FP16 et BF16 répondent à des besoins différents

Un nombre à virgule flottante stocke un signe, un exposant et une mantisse. L’exposant détermine la plage des valeurs, tandis que la mantisse définit la capacité à distinguer des valeurs proches. Lorsque le nombre de bits diminue, il faut choisir ce que l’on accepte de sacrifier.

FP16 réserve davantage de place à la mantisse et distingue donc plus précisément les nombres voisins. Sa plage reste toutefois relativement étroite : des valeurs élevées dans les activations peuvent provoquer un dépassement de capacité. BF16 conserve autant de bits d’exposant que FP32 et supporte donc des valeurs beaucoup plus grandes comme beaucoup plus petites. En contrepartie, il offre une précision moindre pour les valeurs proches.

Imaginons une couche qui reçoit les valeurs 1,001 et 1,002, puis rencontre plus tard une activation de 100 000. FP16 préservera mieux l’écart entre les deux premières valeurs, mais risque de ne pas gérer la valeur élevée. BF16 supportera plus facilement le pic, mais pourra arrondir les deux valeurs proches de la même manière. Le meilleur choix dépend du modèle, des données et du matériel, et non du nom du format.

Autre nuance : le type des poids enregistrés ne révèle pas toute la chaîne de calcul. Une multiplication matricielle peut lire des valeurs FP16, accumuler la somme en FP32, puis réécrire le résultat en FP16. Un rapport de performances doit donc préciser la précision des entrées, de l’accumulation et de la sortie.

La précision mixte sécurise les opérations sensibles

Il n’est pas nécessaire de convertir l’ensemble du modèle dans un format unique. Les multiplications matricielles peuvent être exécutées en FP16 ou BF16, tandis que la normalisation, softmax, les réductions et certaines couches restent en FP32. Ce mode maintient l’accélération sur les opérations les plus lourdes tout en réduisant le risque d’erreurs numériques.

Le changement manuel des types a néanmoins un coût. Les conversions superflues prennent du temps, et une incompatibilité entre les types des entrées et des poids peut parfois interrompre l’exécution. Pour un modèle prêt à l’emploi, il est plus raisonnable de commencer par le mode de précision mixte pris en charge par sa bibliothèque, d’examiner ensuite le profileur, puis seulement de modifier certaines couches.

Il vaut mieux charger directement un checkpoint volumineux dans le format cible. Si la version FP32 est d’abord placée en mémoire avant d’être convertie en FP16, il faudra brièvement disposer d’assez de mémoire pour les deux copies. Avec un grand modèle, cela suffit pour provoquer une erreur de mémoire insuffisante avant même la première requête.

Mesures à effectuer avant le déploiement

Les formats doivent être comparés selon trois axes. Le premier est la mémoire : taille des poids, consommation maximale, cache KV et tampons temporaires. Le deuxième est la vitesse : il faut mesurer séparément la latence de traitement du contexte d’entrée, la génération des jetons et le débit global avec des tailles de lots réelles. Le troisième est la qualité : perplexité, métriques applicatives et réponses à des requêtes représentatives.

Un seul texte identique ne suffit pas. Avec une sélection gloutonne des jetons, les réponses peuvent sembler identiques alors que les distributions de probabilité ont déjà sensiblement divergé. Pour détecter les problèmes, il est utile de comparer les logits, notamment aux points de décision où deux jetons obtiennent des scores presque égaux.

La conclusion pratique est simple : commencez avec FP32 comme référence numérique, testez FP16 et BF16 sur le matériel cible, préchauffez le modèle et synchronisez le périphérique avant les mesures. Choisissez ensuite le format le plus compact qui préserve la qualité requise et accélère réellement l’exécution sur votre matériel. La précision optimale n’est pas le nombre minimal de bits, mais un équilibre mesuré entre mémoire, vitesse et fiabilité.