KronLSTM, da NX-AI, muda a regra delta e estabiliza a memória sem normalização

A NX-AI, empresa de Sepp Hochreiter e desenvolvedora da família xLSTM, liberou em código aberto o KronLSTM, uma arquitetura de atenção linear com uma nova regra de atualização da memória associativa. A principal afirmação dos autores é que a memória se comporta de forma previsível em qualquer comprimento de entrada, com norma esperada uniformemente limitada, e que, em benchmarks de contexto longo, o modelo compete com a família (Gated) DeltaNet e com frequência a supera. O resumo do artigo não traz tabela com números, então a dimensão da vantagem só pode ser avaliada pelo próprio paper e pelos pesos publicados.

Problema: uma memória que esquece o que não devia

A atenção linear substitui o KV-cache crescente do transformer por uma matriz de tamanho fixo. O modelo grava nela pares chave–valor e lê a partir de uma consulta. O custo de computação é linear no comprimento da sequência, e a memória usada pelo estado é constante. O preço é a interferência: cada nova gravação afeta as antigas. A regra delta do DeltaNet e do Gated DeltaNet resolve isso em parte, subtraindo da memória o que já está associado à chave antes de gravar o novo valor. Mesmo assim, essa correção atinge mais informação do que seria desejável.

O KronLSTM introduz a Kronecker Delta Rule. O mecanismo de revisão da memória corrige as associações-alvo e altera a matriz em apenas uma direção do espaço matricial. Segundo os autores, essa intervenção minimamente invasiva reduz a interferência com o que já foi armazenado, em comparação com a regra delta. Para contexto longo, isso importa: quanto mais tokens passam, mais cara fica cada sobrescrita desnecessária.

Matemática: cadeia de

Markov no lugar de estabilização manual

O trabalho dá destaque especial à análise teórica. A dinâmica da memória pode ser descrita como uma cadeia de Markov que converge para uma distribuição estacionária. Com isso, a norma esperada da matriz de memória permanece uniformemente limitada em toda a sequência de entrada.

Na prática, isso elimina uma camada inteira de gambiarras de engenharia. Em muitas arquiteturas recorrentes, é preciso manter o estado sob controle com normalizações, portas de decaimento ou estabilizadores adicionais. Os autores afirmam que o KronLSTM dispensa mecanismos extras de normalização e de estabilização do estado. Eles chamam a regra de base analiticamente transparente para uma memória associativa estável em arquiteturas lineares recorrentes.

O que se sabe sobre o modelo

• Tipo: atenção linear, extensão da família xLSTM
• Ideia central: Kronecker Delta Rule, revisão da memória em uma única direção
• Comparação: (Gated) DeltaNet e outras arquiteturas de atenção linear
• Resultado segundo os autores: desempenho competitivo, com frequência melhor, principalmente em contexto longo
• Garantia de estabilidade: a norma esperada da matriz de memória é uniformemente limitada
• Licença e acesso: código no GitHub (NX-AI/KronLSTM), modelos na coleção da NX-AI no Hugging Face

Conclusão prática

Para equipes que constroem modelos de contexto longo e contabilizam a memória de GPU consumida pelo KV-cache, vale incluir o KronLSTM na lista de arquiteturas a comparar com o Gated DeltaNet. Como o código e os pesos são abertos, dá para testar em tarefas próprias: busca em documentos longos, recuperação associativa e trabalho com repositórios de código.

Há três pontos para observar. Primeiro, como a qualidade se degrada quando o comprimento ultrapassa o usado no treinamento. Segundo, a velocidade de treinamento e de inferência em kernels reais, já que a linearidade teórica não garante ganho de tempo. Terceiro, o comportamento em esquemas híbridos, em que camadas lineares se alternam com atenção convencional. A ausência de normalização adicional simplifica a implementação, mas o veredito final depende de medições independentes. Por enquanto, trata-se de uma proposta forte, com fundamentação teórica cuidadosa, e caberá à comunidade verificá-la.