La nouvelle mémoire RRAM perce le mur des limitations en performance de l'IA

Dans le monde de l'intelligence artificielle, il existe un problème persistant connu sous le nom de « mur mémoire ». Même les modèles d'IA les plus rapides sont confrontés à des limitations causées par le temps et l'énergie nécessaires pour transférer des données entre le processeur et la mémoire. Une solution prometteuse à ce problème est l'utilisation de mémoire résistive (RRAM), qui permet d'effectuer des calculs directement dans les cellules mémoire, contournant les goulots d'étranglement traditionnels.

Cependant, la plupart des types de RRAM sont instables et complexes à gérer. Heureusement, des chercheurs de l'Université de Californie à San Diego ont peut-être trouvé une solution. Lors de la conférence IEEE International Electron Device Meeting (IEDM), ils ont présenté un nouveau type de RRAM capable d'exécuter des algorithmes d'apprentissage automatique.

« Nous avons complètement repensé la RRAM, en reconsidérant le principe de commutation », déclare Duygu Kuzum, ingénieure électricienne de l'Université de Californie à San Diego, qui a dirigé le projet. La RRAM traditionnelle stocke les données en utilisant des filaments de basse résistance dans un matériau diélectrique. La formation de ces filaments nécessite une tension élevée, ce qui rend difficile l'intégration avec les circuits CMOS. De plus, le processus de formation des filaments est aléatoire et bruyant, ce qui affecte négativement le stockage des données, en particulier dans les réseaux de neurones où la stabilité des poids est requise.

Le nouveau développement, appelé « bulk RRAM », se distingue par le fait qu'il commute une couche entière de matériau entre une résistance élevée et basse. Cela élimine le besoin de formation de filaments à haute tension et supprime le transistor sélecteur limité par la géométrie. Le groupe de San Diego n'a pas été le premier à créer des dispositifs bulk RRAM, mais il a obtenu un succès significatif dans la réduction de leur taille et la création de circuits tridimensionnels.

Les chercheurs ont réussi à réduire la taille de la RRAM à l'échelle nanométrique (40 nm) et à créer des piles à huit couches. Chaque couche peut prendre 64 valeurs de résistance, ce qui est difficile à obtenir avec la RRAM filamentaire traditionnelle. La résistance de la pile se situe dans la plage des mégaohms, ce qui, selon Kuzum, convient mieux aux opérations parallèles. L'augmentation du nombre de niveaux de résistance et de la résistance plus élevée permettent à bulk RRAM d'effectuer des opérations plus complexes que la RRAM traditionnelle.

L'équipe de San Diego a testé une matrice de piles à huit couches d'un volume de 1 kilooctet en utilisant un algorithme d'apprentissage continu. La puce a classifié les données des capteurs portables, déterminant si l'utilisateur était assis, marchait, montait les escaliers ou effectuait une autre action. La précision était de 90 %, ce qui est comparable aux performances d'un réseau de neurones implémenté numériquement. Kuzum croit que bulk RRAM est particulièrement utile pour les modèles de réseaux de neurones sur les appareils périphériques qui doivent apprendre de leur environnement sans accès au cloud.

Albert Talin, chercheur en matériaux au Laboratoire national Sandia, note que la capacité à intégrer la RRAM dans une matrice est une étape importante. Cependant, il souligne que la préservation des données sur une longue période peut devenir un problème, en particulier aux températures élevées auxquelles fonctionnent les ordinateurs. Si les ingénieurs peuvent prouver la fiabilité de cette technologie, elle pourrait bénéficier à tous les types de modèles. Le « mur mémoire » s'élève de plus en plus, car la mémoire traditionnelle ne peut pas suivre les demandes croissantes des grands modèles. Toute solution permettant aux modèles de fonctionner directement avec la mémoire pourrait être une percée longtemps attendue.