MemT-1.0 embute a memória no próprio modelo: armazenamento 66 vezes menor com 128K de contexto

Os autores do MemT-1.0 propõem parar de escorar o modelo de linguagem com armazenamentos externos e fazer da memória parte do cálculo da própria rede. Com histórico de 128K tokens, o modelo mais enxuto da família, o MemT-1.0-Nano, mostra aceleração de aproximadamente 1,86 vez na inferência de ponta a ponta e reduz o armazenamento permanente em 66 vezes em comparação com o KV-cache completo. No total, foram lançados dois modelos, Nano e Flash, e o treinamento usou 34B tokens de dados.

Memória como parte do cálculo

A maioria dos sistemas atuais resolve o problema do contexto longo de duas maneiras. A primeira é carregar o KV-cache inteiro, que cresce junto com o histórico. A segunda é recorrer a retrieval: buscar os trechos relevantes em uma base externa e injetá-los no prompt. Os dois caminhos têm custo: memória ou latência no primeiro caso; complexidade arquitetural e dependência da qualidade da busca no segundo.

O MemT-1.0 segue um terceiro caminho. Os autores o chamam de memory-native evolution: a memória deve ser uma capacidade nativa do foundation model, que permite acumular informação continuamente e usá-la. A arquitetura é construída sobre o Metis e emprega o Gated DeltaNet-2, um mecanismo com atualização estável da memória no nível dos tokens dentro de cada turno da conversa. Para escalar a capacidade, foi adicionado o Mixture-of-Storage, de modo que a memória nativa cresce sem inflar o contexto.

Como foi o treinamento

Antes do treinamento principal, a equipe fez uma preparação separada do backbone. Em seguida, veio um pipeline de duas etapas: continued pre-training e post-training. O volume total de dados foi de 34B tokens, número modesto para esse tipo de trabalho e que indica que o modelo foi retreinado a partir de uma base pronta, e não criado do zero. Os autores também mencionam uma infraestrutura especializada para treinamento e inferência eficientes, mas o resumo do artigo não traz detalhes sobre ela.

O que as medições mostraram

A avaliação cobriu tanto as capacidades de memória quanto as habilidades gerais do modelo. Estes são os principais resultados descritos no trabalho:

• o MemT-1.0, em média, supera baselines com memória paramétrica;
• continua competitivo em relação a métodos baseados em retrieval-augmented generation;
• em geral preserva as capacidades gerais, ou seja, o ajuste para memória não destruiu as habilidades básicas;
• o MemT-1.0-Nano, com histórico de 128K tokens, acelera a inferência de ponta a ponta em cerca de 1,86 vez em relação ao contexto completo com KV-cache;
• o armazenamento permanente cai 66 vezes;
• em tarefas de agentes, a taxa de execuções bem-sucedidas aumenta porque o modelo assimila a experiência procedural extraída.

A formulação "competitivo com RAG" reflete bem o estado das coisas: os autores não afirmam superioridade sobre a busca. Isso importa porque o retrieval continua sendo o cavalo de batalha em produção. O resumo também não traz números de benchmarks específicos nem os tamanhos dos modelos, então só o texto completo do artigo permite medir a distância em relação aos baselines.

Onde isso pode ser útil

O cenário mais óbvio são agentes que trabalham por muito tempo e precisam lembrar o que já tentaram e o que funcionou. Se a experiência procedural fica embutida no estado do modelo, não é preciso buscá-la na base a cada vez nem gastar tokens de contexto com isso. Para quem desenvolve assistentes e agentes de código, a economia de 66 vezes no armazenamento significa que o histórico pessoal do usuário pode ser mantido de forma mais compacta e barata, e que, em conversas longas, o ganho de velocidade cresce junto com o tamanho do contexto.

Também é preciso cautela. Os resultados vêm de dois modelos pequenos, e a afirmação sobre a preservação das capacidades gerais foi formulada como "em geral". Antes de substituir um pipeline de retrieval, vale esperar verificações independentes, observar o comportamento diante de registros errados ou desatualizados na memória e avaliar como a memória nativa se encaixa nos requisitos de auditoria e de exclusão de dados. Ainda assim, a direção é clara: a memória deixa de ser um acessório e passa a ser uma propriedade da arquitetura.