La start-up sud-coréenne XCENA lève 135 millions de dollars en misant sur la mémoire plutôt que sur le calcul

La start-up sud-coréenne de puces XCENA a levé 135 millions de dollars sur une valorisation de 570 millions. L'entreprise défend une thèse contre-intuitive : le goulet d'étranglement de l'IA actuelle n'est pas la puissance de calcul des GPU, mais la vitesse d'accès à la mémoire.

Tout le monde voit le problème, mais pas tout le monde en comprend la

vraie cause

Depuis deux ans, l'industrie est obsédée par la pénurie de GPU. Chaque jour apporte son lot d'informations sur le manque de capacités de calcul, les guerres des puces et les restrictions d'achat. XCENA regarde le même problème, mais le voit autrement. Selon sa logique, même si l'on donne à un modèle la puce la plus puissante du monde, il perdra énormément de temps à attendre que les données nécessaires voyagent de la mémoire jusqu'au cœur de calcul. Ce phénomène, connu sous le nom de memory bottleneck, pèse sur les performances bien plus que beaucoup ne le croient.

L'architecture des GPU actuels le confirme. Un cœur de calcul peut exécuter des opérations en quelques nanosecondes. L'accès à la mémoire ? Il représente souvent des milliards de nanosecondes d'attente. Résultat, un paradoxe : le processeur est prêt à calculer, mais doit attendre l'arrivée des données.

Le problème grandit avec la taille et la complexité des modèles

Le problème s'aggrave de façon exponentielle. Lors de l'entraînement d'un modèle de mille milliards de paramètres, le volume de données à déplacer entre la mémoire et le processeur devient tout simplement astronomique. La mémoire ne parvient plus à absorber le flux de requêtes.

• Chaque doublement des paramètres du modèle fait croître exponentiellement les besoins en mémoire
• Le temps d'accès à la mémoire augmente de façon non linéaire avec le volume
• L'énergie consommée pour déplacer les données dépasse celle des calculs eux-mêmes
• Même les GPU de pointe tournent à 30-50% de leur potentiel à cause de l'attente de la mémoire

Les ingénieurs des grands laboratoires constatent déjà ce problème en pratique. Lors de l'entraînement de modèles à l'échelle de GPT, une part importante du temps processeur passe à attendre les données nécessaires plutôt qu'à calculer.

Sur quoi XCENA mise

La start-up développe des architectures mémoire spécialisées qui, selon elle, réduiront la latence d'accès et augmenteront la bande passante. Si l'approche fonctionne, elle pourrait donner un énorme avantage concurrentiel aux laboratoires et aux entreprises qui entraînent de grands modèles.

L'investissement de 135 millions de dollars, venu de fonds de capital-risque sérieux, signale que l'industrie commence à croire à cette thèse. Il peut aussi indiquer que certains grands chercheurs et développeurs de modèles ont déjà buté sur ce problème de l'intérieur et cherchent activement des solutions.

Ce que cela signifie pour l'avenir de l'IA

Si XCENA a raison, l'architecture de l'infrastructure d'IA de prochaine génération sera différente. À la course aux GPU toujours plus puissants s'ajoutera une course parallèle, tout aussi intense, à la vitesse d'accès à la mémoire. Cela pourrait redéfinir sensiblement quelles entreprises et quels laboratoires auront les moyens d'entraîner la génération suivante de modèles.

XCENA se trompe peut-être dans son analyse, et le principal goulet d'étranglement se situe peut-être bien dans le calcul. Mais le fait que la start-up ait levé de telles sommes sur cette vision indique que le scepticisme commence à céder la place à une étude sérieuse de la mémoire comme limite critique au progrès de l'IA.