Stanford dévoile Onyx, une puce pour l'IA parcimonieuse plus rapide qu'un CPU et 70 fois plus sobre

Des chercheurs de Stanford ont présenté Onyx, un accélérateur capable de tirer parti des « zéros » présents dans les modèles d'IA. L'idée : ne plus dépenser d'énergie sur des multiplications et des additions qui, d'avance, ne changent rien, et accélérer ainsi les calculs sans renoncer aux grands modèles.

Pourquoi les zéros comptent

Dans les réseaux de neurones, les données, les poids et les activations sont stockés sous forme de tableaux de nombres : vecteurs, matrices et tenseurs. Dans de nombreux cas, une part importante de ces nombres est égale à zéro, ou si proche de zéro qu'on peut la considérer comme telle sans perte de qualité notable. Cette propriété s'appelle la parcimonie (sparsity).

Si les zéros dépassent la moitié des valeurs, le modèle peut déjà bénéficier d'algorithmes spécialisés : au lieu de stocker et de traiter toute la matrice, le système ne conserve que les valeurs utiles et saute les opérations vides.

Pour l'industrie, c'est important, car les modèles grossissent plus vite que l'infrastructure ne devient bon marché. Plus de paramètres, c'est une meilleure qualité, mais aussi un coût d'exécution plus élevé en temps, en énergie et en empreinte carbone. L'article cite l'exemple de Meta Llama avec 2 000 milliards de paramètres. Les chercheurs rappellent aussi les résultats de Cerebras : sur Llama 7B, 70 à 80 pour cent des paramètres ont pu être mis à zéro sans perte de précision. Autrement dit, les grands modèles recèlent déjà une réserve d'accélération ; il reste à apprendre à l'exploiter.

Où l'efficacité se perd

Le problème, c'est que le matériel courant a été conçu à l'origine pour le calcul dense, pas pour les structures parcimonieuses. Quand les données sont compressées, il faut stocker des métadonnées avec les valeurs non nulles : indices de lignes, de colonnes et segments. L'accès à ces données devient indirect et imprévisible : le processeur doit d'abord chercher les coordonnées, puis seulement la valeur. Résultat, une partie du temps ne sert pas aux mathématiques, mais à errer dans la mémoire et à exécuter des opérations annexes.

• Les GPU excellent sur les matrices denses, mais face à une parcimonie aléatoire, ils parallélisent souvent des opérations inutiles sur des zéros.
• La parcimonie structurée n'aide pas toujours, car elle impose un motif de mise à zéro rigide, par exemple deux zéros pour quatre paramètres voisins.
• Les CPU sont plus souples, mais butent souvent sur les ratés du prefetcher et les accès mémoire imprévisibles.
• Même les bibliothèques sparse ne réduisent pas tous les coûts additionnels, car une partie des ressources sert à gérer les données elles-mêmes.

Les fabricants cherchent déjà des contournements, mais ils restent ponctuels. Apple a accéléré les accès mémoire indirects dans les puces A14 et M1, Cerebras défend l'approche sparse dans son Wafer Scale Engine et Meta développe MTIA. Mais là aussi, des limites existent : certaines solutions ne fonctionnent qu'avec la parcimonie des poids, d'autres ne prennent en charge que des opérations isolées comme la multiplication de matrices. Pour de vraies charges d'IA, c'est insuffisant, car les modèles ne reposent pas sur une seule opération, mais sur une longue chaîne de couches et de transformations différentes.

Comment fonctionne Onyx

L'équipe de Stanford est partie du niveau le plus bas et a conçu Onyx, un accélérateur programmable qui gère aussi bien le calcul parcimonieux que dense. Il repose sur une architecture CGRA, intermédiaire entre CPU et FPGA : nettement plus souple qu'un processeur classique, mais plus efficace que des circuits entièrement configurables au niveau du bit.

Onyx se compose de blocs de calcul et de blocs mémoire qui stockent les matrices compressées et les traitent directement sous cette forme, sans les ré-étendre au format dense sans nécessité. Le compilateur est tout aussi crucial : il traduit des expressions comme la multiplication d'une matrice parcimonieuse par un vecteur en un graphe de mémoire et de calcul, puis le répartit sur les blocs de la puce.

Selon Stanford, Onyx a consommé en moyenne 70 fois moins d'énergie qu'un CPU et exécuté les calculs environ 8 fois plus vite. Sur la métrique energy-delay product, le gain a atteint 565 fois par rapport à un Intel Xeon à 12 cœurs avec des bibliothèques sparse. La prochaine génération d'Onyx doit ajouter la prise en charge des couches non linéaires, de la normalisation, de softmax et un basculement plus pratique entre les modes sparse et dense.

Ce que cela signifie

L'idée centrale de l'article n'est pas qu'une puce d'IA de plus est apparue, mais que les développeurs commencent à optimiser les modèles non seulement par une précision réduite ou une taille moindre, mais aussi par la structure des calculs eux-mêmes. Si l'approche de la parcimonie s'impose, les grands modèles pourront être exécutés à moindre coût et plus vite, ce qui veut dire que le prochain bond de l'IA pourrait venir non seulement de nouveaux modèles, mais d'une nouvelle classe de matériel.

*Meta est reconnue comme organisation extrémiste et interdite en Fédération de Russie.