ResonatorLM aprende a leer la memoria según el token: la perplexity a 1024 tokens baja de 12,81 a 3,76

Un grupo de investigadores propone un pequeño ajuste para ResonatorLM, un modelo con estado de tamaño fijo que lee la memoria de un banco de osciladores complejos amortiguados. La fase de lectura, que antes era constante para cada cabeza, ahora es una función del token actual. Esto añadió un 0,2% de parámetros. En los experimentos con modelos a nivel de carácter de 6 millones de parámetros (WikiText-2), la calidad a la longitud de entrenamiento no cambió. En cambio, al entrenar con 256 tokens y evaluar con 1024, la perplexity bajó de 12,81 a 3,76.

La disyuntiva de la que parte el trabajo

Los modelos con estado de tamaño fijo evitan el coste cuadrático de la atención, pero obligan a elegir. Si la transición de estado depende de la entrada, la memoria pasa a depender del contenido. El precio es que el entrenamiento basado en FFT ya no se puede usar tal cual. Si la transición es fija, se conserva la vía convolucional con complejidad asintótica O(T log T), pero la memoria se lee igual para cualquier entrada.

ResonatorLM pertenece al segundo tipo. Cada cabeza lee el banco de osciladores mediante una fase fija aprendida. Los autores del nuevo trabajo dejaron la transición como estaba y cambiaron solo la lectura: ahora la fase se calcula a partir del token actual. La dependencia de la entrada aparece únicamente en la etapa de lectura, por lo que la convolución sigue siendo exacta y el entrenamiento se mantiene con el esquema anterior.

Qué mostró el análisis del banco sin entrenar

Antes de los experimentos, los autores analizaron el banco de osciladores sin entrenamiento. La fase efectivamente codifica el tiempo transcurrido. Pero la memoria resulta corta: un token ordinario cae por debajo del nivel de fondo en 2–8 pasos. Ninguna elección de amortiguamiento extiende la reconstrucción lineal más allá de unos 16 tokens.

Cifras principales del trabajo:

• Aumento de parámetros: 0,2%.
• Escala de los modelos: 6 millones de parámetros, nivel de carácter, WikiText-2.
• Entrenamiento con 256 y evaluación con 1024 tokens: perplexity de 12,81 en el modelo original y de 3,76 en la variante con fase dependiente de la entrada.
• A la longitud de entrenamiento, los resultados coinciden con los del original.
• Horizonte de reconstrucción lineal en el banco sin entrenar: hasta ~16 tokens.
• El token cae por debajo del fondo en 2–8 pasos.

De dónde viene el fallo fuera de la longitud de entrenamiento

La conclusión diagnóstica principal se refiere a las cabezas de memoria larga. Estas acumulan más historia de la que vieron durante el entrenamiento y, con entradas largas, leen el estado en un régimen que el modelo nunca encontró. De ahí la degradación de la ResonatorLM original al superar la longitud de entrenamiento. La dependencia de la fase respecto a la entrada elimina el problema: la diferencia entre 12,81 y 3,76 muestra su magnitud.

El mecanismo, sin embargo, resultó más modesto de lo que cabría esperar. La fase aprendida sigue al símbolo actual, no la distancia a los tokens pasados, y la calidad del retrieval no mejora. Es decir, el modelo no aprendió a extraer con más precisión el fragmento necesario del pasado. Simplemente dejó de fallar cuando se acumula más historia que en el entrenamiento.

Dónde puede resultar útil

Para quienes trabajan con modelos de espacio de estados convolucionales con transición fija, la conclusión es práctica: conviene comprobar por separado la extrapolación por longitud. Basta con entrenar el modelo con un contexto corto y comparar la perplexity con un contexto 4 veces más largo. Una brecha de esa magnitud puede quedar oculta tras buenas métricas a la longitud de entrenamiento. El diagnóstico de las cabezas de memoria larga, como el del trabajo, ayuda a localizar la causa.

También hay limitaciones. Los experimentos se hicieron con modelos de 6 millones de parámetros, a nivel de carácter y con un solo dataset. Su transferencia a modelos por tokens de miles de millones de parámetros sigue sin comprobarse. No hay mejora en retrieval, así que para tareas de extracción precisa del contexto el método no es una solución. Como seguro barato para entradas largas, con un coste casi nulo en parámetros, resulta convincente.