Les astuces mathématiques de l'IA ne servent à rien pour le calcul scientifique

La révolution de l'intelligence artificielle n'a pas seulement changé notre façon de dialoguer avec les ordinateurs. Elle a aussi modifié leur manière de calculer au niveau le plus fondamental : celui de la représentation des nombres. Ces dernières années, l'industrie a produit des dizaines de nouveaux formats numériques optimisés pour l'apprentissage automatique. Mais dès qu'on tente de les utiliser hors de l'IA, un problème de fond apparaît : ce qui fonctionne parfaitement pour les réseaux de neurones se révèle totalement inadapté au calcul scientifique.

Pendant des décennies, l'industrie informatique a vécu selon une règle simple : chaque nombre est codé sur 64 bits, et c'est largement suffisant pour tout le monde. Les utilisateurs changeaient de machine tous les quelques ans et obtenaient un gain de performances pour ainsi dire gratuit. Cette époque s'est achevée il y a une dizaine d'années.

La loi de Moore a ralenti, tandis que l'appétit des modèles d'IA croissait de façon exponentielle. Les entreprises ont cherché tous les moyens d'économiser ressources de calcul et énergie, et l'un des plus efficaces s'est révélé être la réduction du nombre de bits par nombre. Si un réseau de neurones n'a pas besoin des 64 bits de précision, pourquoi les gaspiller ?

Ainsi sont apparus des formats sur 16, 8, voire 2 bits, qui permettent d'entraîner et d'exécuter les modèles plus vite et à moindre coût.

Le problème, c'est que la norme IEEE 754, qui définit la représentation des nombres à virgule flottante sur 64 bits, se prête mal, dès l'origine, à une réduction de taille. Son architecture est surdimensionnée pour un petit nombre de bits, et la tronquer directement fait perdre des propriétés importantes. D'où l'apparition de formats spécialisés pour l'IA, comme bfloat16 chez Google et FP8 chez NVIDIA, calibrés sur la distribution des valeurs typique des réseaux de neurones. En apprentissage automatique, les valeurs se concentrent généralement dans une plage donnée, et une très haute précision aux extrémités n'est pas nécessaire.

Le calcul scientifique obéit à des règles tout autres. La physique numérique, la dynamique des fluides, la modélisation biologique et les simulations d'ingénierie manipulent des nombres répartis sur une plage gigantesque, de l'échelle subatomique aux distances cosmiques. Et la précision doit être aussi élevée pour les très grandes valeurs que pour les très petites. C'est ce décalage entre les besoins de l'IA et ceux de la science qui a servi de point de départ aux travaux de Laslo Hunhold. Il a récemment soutenu sa thèse de doctorat en informatique à l'université de Cologne et a rejoint la start-up barcelonaise Openchip comme ingénieur spécialisé dans les accélérateurs d'IA.

Hunhold a mis au point un format numérique baptisé takum, dérivé d'un format plus ancien, posit. Posit répartit les représentations de manière non uniforme : les valeurs les plus fréquemment utilisées bénéficient de davantage de combinaisons de bits, et donc d'une précision plus élevée. Pour l'IA, cela fonctionne très bien : posit concentre sa densité de représentation autour de 1, là où se trouvent les valeurs typiques des poids d'un réseau de neurones. Mais pour le calcul scientifique, cette approche est catastrophique : la précision s'effondre dès qu'on passe aux grands ou aux petits nombres, précisément ceux qui sont cruciaux pour modéliser les processus physiques.

Takum résout ce problème avec élégance. Hunhold a analysé les plages de valeurs réellement utilisées en calcul scientifique dans toutes les grandes disciplines, puis a conçu le format de sorte que la plage dynamique ne se réduise pas quand le nombre de bits diminue. Scientifiques et ingénieurs pourraient donc potentiellement passer à des représentations plus compactes, et économiser énergie et temps de calcul, sans sacrifier leur capacité à traiter des valeurs extrêmes. Selon Hunhold, même un gain d'efficacité de dix pour cent sur le format numérique se traduit par une économie de dix pour cent pour toutes les applications, ce qui, à l'échelle de la puissance de calcul mondiale, représente une économie d'énergie colossale.

La portée de ces travaux dépasse largement l'exercice académique. À mesure que supercalculateurs et clusters de recherche consomment toujours plus d'électricité, l'optimisation au niveau de la représentation des nombres devient l'un des rares leviers restants pour gagner en efficacité sans augmenter la puissance matérielle. Hunhold souligne d'ailleurs que des dizaines de nouveaux formats numériques ont été proposés ces dernières années, mais que takum reste le seul conçu délibérément pour le calcul scientifique. Toutes les autres innovations du domaine servent exclusivement l'industrie de l'apprentissage automatique.

L'histoire de takum rappelle que le boom de l'IA, malgré toute sa force transformatrice, ne doit pas éclipser les besoins du reste de la science computationnelle. Les réseaux de neurones ne sont pas les seuls programmes qui ont besoin d'efficacité. Les physiciens qui modélisent le climat, les ingénieurs qui conçoivent des ponts et les biologistes qui simulent le repliement des protéines méritent les mêmes innovations en arithmétique de base. Et si le format takum se diffuse largement, il pourrait devenir ce socle invisible grâce auquel le calcul scientifique de la prochaine décennie sera plus rapide, moins coûteux et plus écologique.