mLSTM e ortogonalização na leitura: o ganho de recall é capacidade de aprendizado, não memória

Em julho de 2026, um preprint (arXiv:2607.19390) apareceu no arXiv para reexaminar um resultado de grande repercussão: a ortogonalização da matriz de memória da rede recorrente mLSTM na leitura (cinco iterações do algoritmo de Newton–Schulz, treinadas de ponta a ponta) melhora de forma expressiva a recuperação associativa com ruído. O efeito se reproduz, mas, segundo os autores, não se trata de uma memória melhor: o que acelera é o treinamento.

Um platô, não a memória

O treinamento nessa tarefa consiste em um longo platô no nível do acerto aleatório, seguido de um salto brusco até a solução. De acordo com o preprint, a leitura ortogonalizada atua justamente durante o platô: ela recondiciona o próprio problema de otimização, em vez de ampliar o volume de informação armazenada. A decodificação direta do estado de memória mostrou que os modelos que "falharam" já guardam cerca de metade das associações de forma linearmente recuperável. O platô, portanto, é uma falha de leitura sobre um armazenamento metade preenchido, e não a ausência de escrita.

Três evidências

Os autores apresentam três propriedades que, segundo eles, demonstram que a questão é a capacidade de aprendizado, e não a capacidade da memória.

• Consistência. A leitura exata por mínimos quadrados recursivos (camada Mesa) reproduz o efeito; já o estimador straight-through, a escrita pela regra delta, as chaves aleatórias congeladas e a normalização comum não reproduzem.
• Uniformidade. Em uma grade de "taxa de aprendizado × dificuldade", a técnica multiplica por cerca de seis a probabilidade de sair do platô, sem dependência perceptível da dificuldade, e alarga a faixa útil de taxas de aprendizado.
• Remoção. Aplicada na inferência a modelos que já haviam falhado, a técnica não resgata nenhum; desligada por annealing logo após o salto, deixa mLSTMs comuns com precisão total.

Por que o ganho desaparece sem mudança de arquitetura

A maior parte do ganho publicado não exige nenhuma mudança arquitetural. Segundo os autores, a fração de tarefas resolvidas com orçamento fixo mede a probabilidade de sair do platô, e essa probabilidade obedece a uma lei de "calor e ruído": elasticidade de +3.0 em relação à taxa de aprendizado e de −1.65 em relação ao ruído do gradiente. Nesse enquadramento, o resultado original com vocabulário de 96 tokens (vocab-96) passa a ser uma condição de baixo ruído, decorrente de batches grandes, e não uma manifestação de capacidade de memória.

"Benchmarks de memorização usados para escolher arquiteturas medem, em

parte, a capacidade de aprendizado", diz o resumo do preprint arXiv:2607.19390.

O que isso significa

O resultado atinge dois hábitos da indústria. Primeiro, os benchmarks de recall usados para escolher arquiteturas de modelos medem, em parte, não a memória, mas a facilidade com que o modelo aprende. Segundo, o sistema se mostra um "organismo-modelo" didático da emergência: o limiar abrupto de comportamento surge de uma métrica censurada sobre uma estrutura que se acumula gradualmente, e não do aparecimento repentino de uma nova capacidade.

Perguntas frequentes

O que é leitura ortogonalizada na mLSTM?

A leitura ortogonalizada torna a matriz de memória da mLSTM ortogonal no momento da leitura, aqui por meio de cinco iterações do algoritmo de Newton–Schulz, treinadas de ponta a ponta. O preprint mostra que ela melhora as condições de otimização, não o armazenamento de dados.

Por que o ganho não pode ser considerado uma melhoria da memória?

O ganho é "removível": a técnica não ajuda, na inferência, modelos que já falharam no treinamento e pode ser totalmente desligada por annealing depois que o modelo dá o salto, sem queda de precisão da mLSTM comum. Segundo o preprint, cerca de metade das associações já fica guardada de forma linearmente recuperável mesmo sem a técnica.

O que é emergência neste contexto?

Emergência, aqui, é um limiar comportamental abrupto que não decorre de um salto de capacidade, mas de uma métrica censurada sobre uma estrutura que se acumula gradualmente dentro do modelo.