ResonatorLM aprende a ler a memória a partir do token: perplexity em 1024 cai de 12,81 para 3,76

Pesquisadores propuseram um pequeno ajuste no ResonatorLM, um modelo com estado de tamanho fixo que lê a memória de um banco de osciladores complexos com decaimento. A fase de leitura, antes constante em cada cabeça, passou a ser função do token atual. Isso adicionou 0,2% de parâmetros. Nos experimentos com modelos de caracteres de 6 milhões de parâmetros (WikiText-2), a qualidade no comprimento de treinamento não mudou. Já no cenário com treinamento em 256 tokens e teste em 1024, a perplexity caiu de 12,81 para 3,76.

O dilema que deu origem ao trabalho

Modelos com estado de tamanho fixo escapam do custo quadrático da atenção, mas obrigam a uma escolha. Se a transição de estado depende da entrada, a memória passa a depender do conteúdo. O preço é que o treinamento baseado em FFT não pode mais ser usado como antes. Se a transição é fixa, o caminho convolucional com complexidade assintótica O(T log T) se mantém, mas a memória é lida da mesma forma para qualquer entrada.

O ResonatorLM pertence ao segundo tipo. Cada cabeça lê o banco de osciladores por meio de uma fase fixa e aprendida. Os autores do novo trabalho mantiveram a transição como está e mudaram apenas a leitura: agora a fase é calculada a partir do token atual. A dependência da entrada aparece somente na etapa de leitura, por isso a convolução continua exata e o treinamento segue o mesmo esquema de antes.

O que a análise do banco não treinado mostrou

Antes dos experimentos, os autores analisaram o banco de osciladores sem treinamento. A fase de fato codifica o tempo decorrido. Mas a memória é curta: um token comum cai abaixo do nível de fundo em 2–8 passos. Nenhuma escolha de decaimento estende a reconstrução linear além de cerca de 16 tokens.

Números finais do trabalho:

• Aumento de parâmetros: 0,2%.
• Escala dos modelos: 6 milhões de parâmetros, nível de caractere, WikiText-2.
• Treinamento em 256 e teste em 1024 tokens: perplexity de 12,81 no modelo original e de 3,76 na variante com fase dependente da entrada.
• No comprimento de treinamento, os resultados coincidem com os do original.
• Horizonte de reconstrução linear no banco não treinado: até ~16 tokens.
• O token cai abaixo do fundo em 2–8 passos.

De onde vem a queda além do comprimento de treinamento

A principal conclusão do diagnóstico envolve as cabeças de memória longa (long-memory). Elas acumulam mais histórico do que viram no treinamento e, em entradas longas, leem o estado em um regime que o modelo nunca encontrou. Daí a degradação do ResonatorLM original ao passar do comprimento de treinamento. A dependência da fase em relação à entrada elimina esse problema: a diferença entre 12,81 e 3,76 mostra a dimensão dele.

O mecanismo, porém, se mostrou mais modesto do que se poderia esperar. A fase aprendida acompanha o caractere atual, e não a distância até tokens passados, e a qualidade de retrieval não melhora. Ou seja, o modelo não aprendeu a extrair com mais precisão o trecho certo do passado. Ele apenas deixou de falhar quando o histórico acumulado é maior do que no treinamento.

Onde isso pode ser útil

Para quem trabalha com modelos de estado convolucionais de transição fixa, a conclusão é prática: vale verificar a extrapolação de comprimento separadamente. Basta treinar o modelo em um contexto curto e comparar a perplexity em um contexto 4 vezes mais longo. Uma diferença dessa magnitude pode ficar escondida atrás de boas métricas no comprimento de treinamento. O diagnóstico das cabeças de memória longa, como o feito no trabalho, ajuda a indicar onde procurar a causa.

Há também limitações. Os experimentos foram feitos com modelos de 6 milhões de parâmetros, em nível de caractere e em um único dataset. A transferência para modelos de tokens com bilhões de parâmetros continua sem verificação. Não há melhora de retrieval, então, para tarefas que exigem extração exata do contexto, o método não é solução. Como um seguro barato para entradas longas, com custo quase nulo em parâmetros, ele parece convincente.