La startup sud-coréenne XCENA a levé 135 M$, pariant sur la mémoire plutôt que la puissance de calcul

La startup sud-coréenne de puces XCENA a levé 135 millions de dollars en investissements avec une valorisation de 570 millions de dollars. L'entreprise mise sur une thèse contre-intuitive : le goulot d'étranglement du développement de l'IA moderne n'est pas la puissance de calcul des GPU, mais la vitesse d'accès à la mémoire.

Tout le monde voit le problème, mais tout le monde ne comprend pas sa

véritable cause

L'industrie est obsédée par les pénuries de GPU depuis deux ans. Chaque jour apporte des nouvelles de pénuries de puissance de calcul, guerres de puces et restrictions d'achat. XCENA regarde le même problème, mais le voit différemment. Selon leur logique, même si vous donnez au modèle la puce la plus puissante du monde, il passera d'énormes quantités de temps simplement à attendre que les données nécessaires voyagent de la mémoire vers le cœur computationnel. Ce phénomène, connu sous le nom de memory bottleneck, affecte les performances bien plus sévèrement que beaucoup ne le réalisent.

L'architecture GPU moderne confirme cela. Le cœur computationnel est capable d'effectuer des opérations en nanosecondes. Accès à la mémoire ? Souvent des milliards de nanosecondes d'attente. Le paradoxe émerge : le processeur est prêt à calculer, mais est forcé d'attendre l'arrivée des données.

Le problème s'aggrave avec la taille et la complexité du modèle

Le problème s'aggrave exponentiellement. Lors de l'entraînement d'un modèle avec billions de paramètres, le volume de données qui doit être déplacé entre la mémoire et le processeur devient simplement astronomique. La mémoire ne peut pas suivre le flux des demandes.

• Chaque doublement des paramètres du modèle augmente exponentiellement les exigences de mémoire
• Le temps d'accès à la mémoire augmente de façon non linéaire avec le volume croissant
• La consommation d'énergie pour déplacer les données dépasse la consommation d'énergie des calculs eux-mêmes
• Même les GPU à la pointe fonctionnent à 30-50% de leur potentiel en raison des attentes de mémoire

Les ingénieurs dans les grands laboratoires constatent déjà ce problème en pratique. Lors de l'entraînement de modèles à l'échelle GPT, une part importante du temps processeur est consacrée à l'attente des données nécessaires, plutôt qu'aux calculs eux-mêmes.

Sur quoi XCENA mise

La startup développe des architectures mémoire spécialisées qui promettent de réduire la latence d'accès et d'augmenter la bande passante. Si l'approche fonctionne, elle pourrait fournir un avantage concurrentiel énorme aux laboratoires et aux entreprises formant de grands modèles. Des investissements de 135 millions de dollars provenant de fonds de capital-risque sérieux signifient que l'industrie commence à croire à cette thèse. Cela peut également suggérer que certains chercheurs majeurs et développeurs de modèles ont déjà rencontré ce problème de première main et recherchent activement des solutions.

Ce que cela signifie pour l'avenir de l'IA

Si XCENA a raison, l'architecture de l'infrastructure de l'IA de prochaine génération aura un aspect différent. Au lieu de simplement une course aux GPU toujours plus puissants, il y aura une course parallèle et tout aussi intense vers une vitesse d'accès mémoire plus rapide. Cela pourrait redéfinir significativement quelles entreprises et laboratoires peuvent se permettre d'entraîner la prochaine génération de modèles.

Peut-être que XCENA se trompe dans son analyse, et le principal goulot d'étranglement est réellement le calcul. Mais le fait que la startup ait réussi à attirer de telles sommes en se basant sur cette vision suggère quelque chose : le scepticisme commence à céder à une étude sérieuse de la mémoire en tant que contrainte critique du progrès de l'IA.