KronLSTM de NX-AI modifie la règle delta et stabilise la mémoire sans normalisation

NX-AI, la société de Sepp Hochreiter et développeur de la famille xLSTM, a mis en open source KronLSTM, une architecture d'attention linéaire dotée d'une nouvelle règle de mise à jour de la mémoire associative. Les auteurs avancent un argument central : la mémoire se comporte de façon prévisible quelle que soit la longueur de l'entrée, sa norme attendue est uniformément bornée, et sur les benchmarks à contexte long, le modèle rivalise avec la famille (Gated) DeltaNet et la devance souvent. Le résumé de l'article ne contient aucun tableau chiffré : l'ampleur de l'avantage ne peut donc s'évaluer que dans l'article lui-même et à partir des poids publiés.

Le problème : une mémoire qui oublie ce qu'il ne faut pas

L'attention linéaire remplace le KV-cache croissant du transformeur par une matrice de taille fixe. Le modèle y écrit des paires clé-valeur et les lit à la demande. Le coût de calcul est linéaire en la longueur de la séquence, et la mémoire consacrée à l'état reste constante. Le prix à payer est l'interférence : chaque nouvelle écriture affecte les anciennes. La delta-rule de DeltaNet et de Gated DeltaNet atténue en partie ce problème : elle soustrait d'abord de la mémoire ce qui est déjà associé à la clé, puis y écrit la nouvelle valeur. Mais cette correction touche encore plus d'informations qu'on ne le voudrait.

KronLSTM introduit la Kronecker Delta Rule. Ce mécanisme de révision de la mémoire corrige les associations cibles et ne modifie la matrice que selon une seule direction de l'espace matriciel. D'après les auteurs, cette intervention minimalement invasive réduit l'interférence avec les données déjà stockées par rapport à la delta-rule. Pour le contexte long, l'enjeu est réel : plus le nombre de tokens traités augmente, plus chaque réécriture superflue coûte cher.

Les maths : une chaîne de

Markov plutôt qu'une stabilisation manuelle

Le travail met un accent particulier sur l'analyse théorique. La dynamique de la mémoire peut se décrire comme une chaîne de Markov qui converge vers une distribution stationnaire. La norme attendue de la matrice mémoire reste alors uniformément bornée sur toute la séquence d'entrée.

En pratique, cela supprime toute une couche de rustines d'ingénierie. Dans de nombreuses architectures récurrentes, il faut maintenir l'état dans des limites à l'aide de normalisations, de portes d'atténuation ou de stabilisateurs supplémentaires. Les auteurs affirment que KronLSTM se passe de mécanismes additionnels de normalisation et de stabilisation de l'état. Ils présentent la règle comme une base analytiquement transparente pour une mémoire associative stable dans les architectures linéaires récurrentes.

Ce que l'on sait du modèle

• Type : attention linéaire, extension de la famille xLSTM
• Idée clé : Kronecker Delta Rule, révision de la mémoire selon une seule direction
• Comparaison : (Gated) DeltaNet et d'autres architectures d'attention linéaire
• Résultat selon les auteurs : des performances compétitives, souvent meilleures, en particulier sur le contexte long
• Garantie de stabilité : la norme attendue de la matrice mémoire est uniformément bornée
• Licence et accès : code sur GitHub (NX-AI/KronLSTM), modèles dans la collection NX-AI sur Hugging Face

Ce qu'il faut en retenir

Pour les équipes qui construisent des modèles à contexte long et comptabilisent la mémoire GPU consacrée au KV-cache, KronLSTM mérite de figurer dans la liste des architectures à comparer avec Gated DeltaNet. Le code et les poids sont ouverts : le test peut donc se faire sur ses propres tâches, comme la recherche dans de longs documents, l'extraction associative ou le travail sur des dépôts de code.

Trois points méritent l'attention. Premièrement, la façon dont la qualité se dégrade lorsque la longueur dépasse celle de l'entraînement. Deuxièmement, la vitesse d'entraînement et d'inférence sur des kernels réels : la linéarité théorique ne garantit pas un gain de temps. Troisièmement, le comportement dans les schémas hybrides, où les couches linéaires alternent avec l'attention classique. L'absence de normalisation supplémentaire simplifie l'implémentation, mais le verdict final dépendra de mesures indépendantes. Pour l'instant, c'est une proposition solide, appuyée par une justification théorique soignée, et c'est à la communauté de la vérifier.