Apple ML Research предложила MemoryLLM — интерпретируемую «память» для трансформеров

Apple ML Research опубликовал статью MemoryLLM, где описан метод анализа блоков прямого распространения (FFN) в трансформерных языковых моделях: FFN рассматривается как «контекстно-свободная нейронная память поиска», и исследуется, как входные токены обращаются к ячейкам этой памяти и насколько она важна для разных задач.

Почему FFN называют «памятью» модели

Большие языковые модели построены на архитектуре трансформера. Каждый слой включает два ключевых блока: механизм самовнимания (self-attention), который сравнивает токены между собой, и блок прямого распространения (feed-forward network, FFN), роль которого долго оставалась неясной. Авторы MemoryLLM предлагают рассматривать FFN как нейронную базу данных: параметры сети хранят знания, а входные токены «запрашивают» нужную информацию по принципу «ключ — значение». Отсюда и термин — «контекстно-свободная токен-ориентированная нейронная память поиска»: FFN обрабатывает каждый токен независимо от его окружения, не используя информацию о соседних словах. Похожая интерпретация FFN обсуждалась в академических работах раньше, но MemoryLLM переводит её в конкретный аналитический инструмент.

Что именно исследует MemoryLLM

Центральная идея — декаплинг: авторы отделяют FFN от self-attention, чтобы изучить оба компонента в изоляции. В стандартном трансформере они работают в связке, и разграничить их вклады непросто. В рамках предложенного подхода изучается:

• как конкретные входные токены обращаются к конкретным «ячейкам» внутри параметров FFN;
• насколько важна FFN-память для разных downstream-задач — классификации, генерации, ответов на вопросы;
• поддаётся ли поведение FFN интерпретируемому описанию, или это по-прежнему «чёрный ящик».

Декаплинг позволяет задавать более точные вопросы: где именно в параметрах хранится конкретный факт, как модель обращается к грамматическим правилам или знаниям о мире и меняется ли «топография памяти» в зависимости от задачи.

Зачем это нужно практикам

Интерпретируемость — одна из центральных нерешённых проблем современного AI. Языковые модели демонстрируют впечатляющие результаты, но механика их решений непрозрачна. Это создаёт риски при внедрении в чувствительных областях: медицине, праве, финансах. Если FFN поддаётся описанию как управляемая память, это открывает несколько практических направлений:

• точечное редактирование знаний — удаление устаревших фактов или исправление ошибок без полного переобучения модели;
• более эффективный fine-tuning — зная, какие параметры отвечают за конкретные знания, можно дообучать только нужные части сети;
• верификация поведения — проверка того, что модель опирается на корректные данные, а не на артефакты обучающей выборки.

Что это значит

MemoryLLM вписывается в тренд на механистическую интерпретируемость (mechanistic interpretability), который развивают Anthropic, DeepMind и крупные академические группы. Если декаплинг FFN и self-attention окажется воспроизводимым и практически применимым, он может войти в набор инструментов анализа языковых моделей.

Что такое MemoryLLM?

MemoryLLM — статья, в которой описан метод анализа блоков прямого распространения (FFN) в трансформерных языковых моделях: FFN рассматривается как «контекстно-свободная нейронная память поиска», к ячейкам которой обращаются входные токены.

В чём заключается декаплинг FFN и self-attention?

Декаплинг — это отделение блока FFN от механизма self-attention для изучения обоих компонентов в изоляции. В стандартном трансформере эти блоки работают в связке, что затрудняет разграничение их вкладов; MemoryLLM изучает декаплированный FFN как токен-ориентированную память отдельно от self-attention.

Какие практические направления открывает такой подход?

Если поведение FFN поддаётся интерпретации как управляемая память, это открывает точечное редактирование знаний без полного переобучения модели, более эффективный fine-tuning отдельных частей сети и верификацию того, что модель опирается на корректные данные, а не на артефакты обучающей выборки.