mLSTM и ортогонализация чтения: прирост recall — это обучаемость, а не память

Em julho de 2026, surgiu no arXiv um preprint (arXiv:2607.19390) que reexaminou um resultado muito comentado: a ortogonalização da matriz de memória da rede recorrente mLSTM durante a leitura (cinco iterações do algoritmo de Newton–Schulz, treinadas de ponta a ponta) melhora drasticamente a recuperação associativa ruidosa. O efeito se reproduz, mas, como mostram os autores, não se trata de uma melhoria da memória, e sim de uma aceleração do aprendizado.

Um platô, não memória

O treinamento nessa tarefa é um longo platô no nível do palpite aleatório, seguido por um salto brusco em direção à solução. Segundo o preprint, a leitura ortogonalizada atua justamente durante o platô: ela recondiciona o próprio problema de otimização, sem ampliar a quantidade de informação armazenada. A decodificação direta do estado da memória mostrou que os modelos "fracassados" já retêm cerca de metade das associações em uma forma linearmente recuperável — o platô acaba sendo uma falha de leitura sobre um armazenamento escrito pela metade, e não uma ausência de escrita.

Três propriedades reveladoras

Os autores apresentam três propriedades que provam que o efeito diz respeito à treinabilidade, não à capacidade de memória.

• Consistência. A leitura exata pelo método recursivo dos mínimos quadrados (a camada Mesa) reproduz o efeito, enquanto a estimativa straight-through, a escrita pela regra delta, as chaves aleatórias congeladas e a normalização comum não reproduzem.
• Uniformidade. Em uma grade de "taxa de aprendizado × complexidade", o truque multiplica por cerca de seis vezes a probabilidade de sair do platô, sem dependência perceptível da complexidade, e amplia o corredor operacional da taxa de aprendizado.
• Removibilidade. Aplicado a modelos já fracassados no momento da inferência, o truque não salva nenhum deles; desativado por recozimento logo após o salto, ele deixa os mLSTM comuns com precisão total.

Por que o ganho desaparece sem a arquitetura

A maior parte do ganho publicado não exige nenhuma mudança arquitetônica. A fração de tarefas resolvidas com um orçamento fixo, como observam os autores, mede a probabilidade de sair do platô, e essa probabilidade obedece a uma lei de "calor e ruído": elasticidade em relação à taxa de aprendizado de +3.0, em relação ao ruído do gradiente de −1.65. Nesse quadro, o resultado original em um vocabulário de 96 tokens (vocab-96) acaba sendo uma condição de baixo ruído devido a lotes grandes, e não uma manifestação da capacidade de memória.

"Os benchmarks de memorização usados para selecionar arquiteturas

medem parcialmente a treinabilidade", afirma o resumo do preprint arXiv:2607.19390.

O que isso significa

O resultado atinge dois hábitos da indústria. Primeiro, os benchmarks de recall usados para escolher arquiteturas de modelos medem parcialmente não a memória, mas o quão facilmente um modelo é treinado. Segundo, o sistema se revela um vívido "organismo-modelo" de emergência: um limiar abrupto no comportamento surge de uma métrica censurada sobre uma estrutura que se acumula gradualmente — e não do surgimento repentino de uma nova capacidade.

Perguntas frequentes

O que é a leitura ortogonalizada no mLSTM?

A leitura ortogonalizada torna a matriz de memória do mLSTM ortogonal no momento da leitura — aqui, por meio de cinco iterações do algoritmo de Newton–Schulz, treinadas de ponta a ponta. O preprint mostra que ela melhora não o armazenamento de dados, mas as condições de otimização.

Por que o ganho não pode ser considerado uma melhoria de memória?

O ganho é "removível": o truque não ajuda modelos fracassados já treinados no momento da inferência e é totalmente desativado por recozimento depois que o modelo dá seu salto, sem que a precisão do mLSTM comum caia. Segundo o preprint, cerca de metade das associações já são armazenadas em forma linearmente recuperável mesmo sem ele.

O que é emergência nesse contexto?

Emergência aqui é um limiar comportamental abrupto que surge não de um salto de capacidade, mas de uma métrica censurada sobre uma estrutura que se acumula suavemente dentro do modelo.