Новая память RRAM пробивает стену ограничений в производительности ИИ
Ученые из Калифорнийского университета в Сан-Диего разработали bulk RRAM, память нового типа, где вычисления происходят прямо в ячейках. Это позволяет избежать
В мире искусственного интеллекта существует постоянная проблема, известная как «стена памяти». Даже самые быстрые модели ИИ сталкиваются с ограничениями, вызванными временем и энергией, необходимыми для передачи данных между процессором и памятью. Одним из перспективных решений этой проблемы является использование резистивной памяти (RRAM), которая позволяет проводить вычисления непосредственно в ячейках памяти, минуя традиционные узкие места.
Однако большинство типов RRAM нестабильны и сложны в управлении. К счастью, исследователи из Калифорнийского университета в Сан-Диего, возможно, нашли решение. На конференции IEEE International Electron Device Meeting (IEDM) они представили новый тип RRAM, способный выполнять алгоритмы машинного обучения.
«Мы полностью переработали RRAM, переосмыслив принцип переключения», — говорит Дуйгу Кузум, инженер-электрик из Калифорнийского университета в Сан-Диего, руководившая проектом. Традиционная RRAM хранит данные, используя низкоомные нити в диэлектрическом материале. Формирование этих нитей требует высокого напряжения, что затрудняет интеграцию с CMOS-схемами. Кроме того, процесс формирования нитей является случайным и шумным, что негативно сказывается на хранении данных, особенно в нейронных сетях, где требуется стабильность весов.
Новая разработка, получившая название «bulk RRAM», отличается тем, что переключает целиком слой материала между высоким и низким сопротивлением. Это позволяет избежать необходимости в высоковольтном формировании нитей и исключить ограничивающий геометрию селекторный транзистор. Группа из Сан-Диего не первая, кто создал устройства bulk RRAM, но они добились значительных успехов в уменьшении их размеров и создании трехмерных схем.
Исследователи смогли уменьшить размер RRAM до нанометрового масштаба (40 нм) и создать восьмислойные стеки. Каждый слой может принимать 64 значения сопротивления, что сложно достичь с традиционной нитевидной RRAM. Сопротивление стека находится в диапазоне мегаом, что, по словам Кузум, лучше подходит для параллельных операций. Увеличенное число уровней сопротивления и более высокое сопротивление позволяют bulk RRAM выполнять более сложные операции, чем традиционная RRAM.
Команда из Сан-Диего протестировала массив из восьмислойных стеков объемом 1 килобайт, используя алгоритм непрерывного обучения. Чип классифицировал данные с носимых датчиков, определяя, сидит ли пользователь, идет, поднимается по лестнице или выполняет другое действие. Точность составила 90%, что сопоставимо с производительностью нейронной сети, реализованной цифровым способом. Кузум считает, что bulk RRAM особенно полезна для моделей нейронных сетей на периферийных устройствах, которым необходимо учиться на основе окружающей среды без доступа к облаку.
Альберт Талин, материаловед из Национальной лаборатории Сандия, отмечает, что способность интегрировать RRAM в массив является важным шагом вперед. Однако он подчеркивает, что сохранение данных в течение длительного периода времени может стать проблемой, особенно при высоких температурах, при которых работают компьютеры. Если инженеры смогут доказать надежность этой технологии, она может принести пользу всем типам моделей. «Стена памяти» становится все выше, поскольку традиционная память не может угнаться за растущими потребностями больших моделей. Любое решение, позволяющее моделям работать непосредственно с памятью, может стать долгожданным прорывом.