Les astuces mathématiques de l'AI sont inutiles pour le calcul scientifique

La révolution de l'intelligence artificielle a modifié non seulement la façon dont nous communiquons avec les ordinateurs, mais aussi la façon dont les ordinateurs calculent au niveau le plus fondamental : le niveau de la représentation des nombres. Au cours des dernières années, l'industrie a créé des dizaines de nouveaux formats numériques optimisés pour les tâches d'apprentissage automatique. Mais les tentatives d'appliquer ces formats en dehors du domaine de l'IA ont révélé un problème fondamental : ce qui fonctionne parfaitement pour les réseaux de neurones s'avère être complètement inadapté aux calculs scientifiques.

Pendant des décennies, l'industrie informatique a vécu selon une règle simple : chaque nombre est représenté par 64 bits, et c'était amplement suffisant. Les utilisateurs achetaient de nouveaux ordinateurs tous les quelques années et obtenaient des gains de performance, essentiellement gratuitement. Mais il y a environ dix ans, cette ère a pris fin.

La Loi de Moore a ralenti, tandis que l'appétit des modèles d'IA croissait exponentiellement. Les entreprises ont commencé à chercher tout moyen d'économiser les ressources informatiques et l'énergie, et l'une des plus efficaces s'est avérée être la réduction de la largeur de bit des nombres. Si les réseaux de neurones n'ont pas besoin de tous les 64 bits de précision, pourquoi les gaspiller ?

Ainsi sont apparus des formats de 16, 8 et même 2 bits, permettant d'entraîner et d'exécuter les modèles plus rapidement et moins cher.

Le problème est que la norme IEEE 754, qui définit la représentation des nombres à virgule flottante de 64 bits, n'est intrinsèquement pas bien adaptée aux largeurs de bit plus petites. Son architecture est redondante pour un petit nombre de bits, et la troncature directe entraîne la perte de propriétés importantes. Par conséquent, des formats spécialisés comme le bfloat16 de Google et le FP8 de NVIDIA ont été développés pour l'IA, conçus pour la distribution de nombres typique des réseaux de neurones. En apprentissage automatique, les valeurs se concentrent généralement autour d'une plage spécifique, et une précision ultra-haute aux extrémités n'est pas nécessaire.

Mais le calcul scientifique obéit à des règles complètement différentes. La physique informatique, l'hydrodynamique, la modélisation biologique et les simulations d'ingénierie opèrent avec des nombres dispersés sur une plage gigantesque : des échelles subatomiques aux distances cosmiques. Et la même haute précision est nécessaire pour les quantités très grandes et très petites. C'est précisément cet écart entre les besoins de l'IA et ceux de la science qui a été le point de départ du travail de László Hunhólz, qui a récemment soutenu une thèse de doctorat en informatique à l'Université de Cologne et a rejoint la startup de Barcelone Openchip en tant qu'ingénieur en accélérateurs d'IA.

Hunhólz a développé un format numérique appelé takum, basé sur le format posit antérieur. Posit distribue les représentations de nombres de manière inégale : les valeurs les plus utilisées reçoivent plus de combinaisons de bits et, par conséquent, une plus grande précision. Pour l'IA, cela fonctionne à merveille : posit concentre la densité de représentation autour de l'unité, où se concentrent les valeurs typiques des poids des réseaux de neurones. Mais pour le calcul scientifique, cette approche est catastrophique : la précision chute considérablement lors du passage aux grands ou petits nombres, et ce sont précisément ceux-ci qui sont critiques pour modéliser les processus physiques.

Takum résout ce problème avec élégance. Hunhólz a analysé les plages réelles de valeurs utilisées en calcul scientifique dans toutes les principales disciplines et a conçu le format de telle sorte que, à mesure que le nombre de bits diminue, la plage dynamique ne se rétrécisse. Cela signifie que les scientifiques et les ingénieurs pourraient potentiellement passer à des représentations de nombres plus compactes, économisant l'énergie et le temps informatique sans sacrifier la capacité de travailler avec des magnitudes extrêmes.

Selon Hunhólz, un gain de même dix pour cent en efficacité du format numérique se traduit par une économie de dix pour cent pour toutes les applications, ce qui à l'échelle de la puissance informatique mondiale signifie une énorme économie d'énergie.

L'importance de ces travaux va bien au-delà d'un exercice académique. À mesure que les supercalculateurs et les clusters de recherche consomment de plus en plus d'électricité, l'optimisation au niveau de la représentation des nombres devient l'un des rares leviers restants pour améliorer l'efficacité sans augmenter la capacité matérielle. Remarquablement, Hunhólz souligne : au cours des dernières années, des dizaines de nouveaux formats numériques ont été proposés, mais takum reste le seul délibérément conçu spécifiquement pour le calcul scientifique. Toutes les autres innovations dans ce domaine servent exclusivement l'industrie de l'apprentissage automatique.

L'histoire de takum est un rappel que la vague de l'IA, malgré tout son pouvoir transformateur, ne doit pas éclipser les besoins du reste de la science informatique. Les réseaux de neurones ne sont pas les seuls programmes qui ont besoin d'efficacité. Les physiciens qui modélisent le climat, les ingénieurs qui conçoivent des ponts et les biologistes qui simulent le repliement des protéines méritent les mêmes innovations en arithmétique élémentaire. Et si le format takum gagne une adoption générale, il pourrait devenir ce fondement invisible sur lequel le calcul scientifique de la prochaine décennie deviendra plus rapide, moins cher et plus écologique.