KronLSTM от NX-AI меняет дельта-правило и стабилизирует память без нормализации

NX-AI, компания Зеппа Хохрайтера и разработчик семейства xLSTM, выложила в открытый доступ KronLSTM, архитектуру линейного внимания с новым правилом обновления ассоциативной памяти. Главное утверждение авторов: память ведёт себя предсказуемо на любой длине входа, её ожидаемая норма равномерно ограничена, а на длинноконтекстных бенчмарках модель конкурирует с семейством (Gated) DeltaNet и часто его обходит. В аннотации нет таблицы с цифрами, поэтому масштаб преимущества можно оценить только по самой статье и опубликованным весам.

Проблема: память, которая забывает не то

Линейное внимание заменяет растущий KV-кэш трансформера матрицей фиксированного размера. Модель записывает в неё пары ключ–значение и читает по запросу. Стоимость вычислений линейна по длине последовательности, а память под состояние постоянна. Платить приходится интерференцией: каждая новая запись задевает старые. Delta-правило в DeltaNet и Gated DeltaNet частично решает это, сначала вычитая из памяти то, что уже связано с ключом, а потом записывая новое значение. Но и такая коррекция затрагивает больше информации, чем хотелось бы.

KronLSTM вводит Kronecker Delta Rule. Механизм ревизии памяти исправляет целевые ассоциации и меняет матрицу только вдоль одного направления в матричном пространстве. По словам авторов, такое минимально инвазивное вмешательство снижает интерференцию с ранее сохранённым по сравнению с delta-правилом. Для длинного контекста это важно: чем больше токенов прошло, тем дороже обходится каждая лишняя перезапись.

Математика: цепь Маркова вместо ручной стабилизации

Отдельный акцент в работе сделан на анализе. Динамику памяти можно описать как марковскую цепь, которая сходится к стационарному распределению. При этом ожидаемая норма матрицы памяти остаётся равномерно ограниченной на всей входной последовательности.

На практике это убирает целый слой инженерных костылей. Во многих рекуррентных архитектурах состояние приходится держать в рамках нормировками, гейтами затухания или дополнительными стабилизаторами. Авторы утверждают, что KronLSTM обходится без дополнительных механизмов нормализации и стабилизации состояния. Они называют правило аналитически прозрачной основой для устойчивой ассоциативной памяти в рекуррентных линейных архитектурах.

Что известно о модели

• Тип: линейное внимание, расширение семейства xLSTM
• Ключевая идея: Kronecker Delta Rule, ревизия памяти вдоль одного направления
• Сравнение: (Gated) DeltaNet и другие архитектуры линейного внимания
• Результат по заявлению авторов: конкурентные показатели, часто лучше, особенно на длинном контексте
• Гарантия стабильности: ожидаемая норма матрицы памяти равномерно ограничена
• Лицензия и доступ: код на GitHub (NX-AI/KronLSTM), модели в коллекции NX-AI на Hugging Face

Практический вывод

Для команд, которые строят модели с длинным контекстом и считают память GPU под KV-кэш, KronLSTM стоит добавить в список архитектур для сравнения с Gated DeltaNet. Код и веса открыты, так что проверку можно сделать на своих задачах: поиск по длинным документам, ассоциативное извлечение, работа с репозиториями кода.

Смотреть стоит на три вещи. Первая: как деградирует качество при росте длины сверх обучающей. Вторая: скорость обучения и инференса на реальных ядрах, ведь теоретическая линейность не гарантирует выигрыша по времени. Третья: поведение в гибридных схемах, где линейные слои чередуются с обычным вниманием. Отсутствие дополнительной нормализации упрощает реализацию, но итоговый вердикт зависит от независимых замеров. Пока это сильная заявка с аккуратным теоретическим обоснованием, и проверять её будет сообщество.