mLSTM y ortogonalización de la lectura: la mejora en recall es capacidad de entrenamiento, no memoria

En julio de 2026 apareció en arXiv un preprint (arXiv:2607.19390) que ha revisado un resultado muy comentado: la ortogonalización de la matriz de memoria de la red recurrente mLSTM durante la lectura (cinco iteraciones del algoritmo de Newton–Schulz, entrenadas de extremo a extremo) mejora de forma notable la recuperación asociativa con ruido. El efecto es reproducible, pero, según demuestran los autores, no se trata de una mejora de la memoria, sino de una aceleración del entrenamiento.

Una meseta, no un problema de memoria

El entrenamiento en esta tarea consiste en una larga meseta al nivel del azar, seguida de un salto brusco hacia la solución. Según los datos del preprint, la lectura ortogonalizada actúa precisamente durante la meseta: reacondiciona el propio problema de optimización, en lugar de ampliar el volumen de información almacenada. La decodificación directa del estado de la memoria mostró que los modelos «fallidos» ya mantienen alrededor de la mitad de las asociaciones en una forma linealmente recuperable. La meseta resulta ser un fallo de lectura sobre un almacén medio escrito, y no una ausencia de escritura.

Tres propiedades como pruebas

Los autores presentan tres propiedades que demuestran que la clave está en la capacidad de entrenamiento y no en la capacidad de la memoria.

• Coherencia. La lectura exacta mediante mínimos cuadrados recursivos (capa Mesa) reproduce el efecto; el estimador straight-through, la escritura con regla delta, las claves aleatorias congeladas y la normalización habitual, no.
• Uniformidad. En una cuadrícula de «tasa de aprendizaje × dificultad», la técnica multiplica por unas seis veces la probabilidad de salir de la meseta, sin una dependencia apreciable de la dificultad, y amplía el corredor de tasas de aprendizaje viables.
• Extraíbilidad. Aplicada en inferencia a modelos que ya han fallado, la técnica no rescata a ninguno; desactivada mediante annealing justo después del salto, deja mLSTM convencionales con la precisión intacta.

Por qué la mejora desaparece sin la arquitectura

La mayor parte de la ganancia publicada no requiere ningún cambio arquitectónico. La proporción de tareas resueltas con un presupuesto fijo, señalan los autores, mide la probabilidad de salir de la meseta, y esta obedece a una ley de «calor y ruido»: elasticidad respecto a la tasa de aprendizaje de +3.0 y respecto al ruido del gradiente de −1.65. En este marco, el resultado original con un vocabulario de 96 tokens (vocab-96) es una condición de bajo ruido debida a los lotes grandes, y no una manifestación de la capacidad de la memoria.

«Los benchmarks de memorización que se utilizan para elegir

arquitecturas miden en parte la capacidad de entrenamiento», se afirma en el resumen del preprint arXiv:2607.19390.

Qué significa

El resultado golpea dos hábitos de la industria. En primer lugar, los benchmarks de recall con los que se eligen las arquitecturas de los modelos miden en parte no la memoria, sino la facilidad con que el modelo se entrena. En segundo lugar, el sistema resulta un «organismo modelo» ilustrativo de la emergencia: el umbral brusco en el comportamiento surge de una métrica censurada sobre una estructura que se acumula de forma gradual, y no de la aparición repentina de una nueva capacidad.

Preguntas frecuentes

¿Qué es la lectura ortogonalizada en mLSTM?

La lectura ortogonalizada hace que la matriz de memoria de mLSTM sea ortogonal en el momento de la lectura; aquí, mediante cinco iteraciones del algoritmo de Newton–Schulz, entrenadas de extremo a extremo. El preprint muestra que mejora las condiciones de optimización, no el almacenamiento de datos.

¿Por qué no se puede considerar la mejora como un avance de la memoria?

La mejora es «extraíble»: la técnica no ayuda en inferencia a modelos fallidos ya entrenados y se desactiva por completo mediante annealing una vez que el modelo ha dado el salto, sin que la precisión de la mLSTM convencional disminuya. Según los datos del preprint, alrededor de la mitad de las asociaciones se almacena en forma linealmente recuperable incluso sin ella.

¿Qué es la emergencia en este contexto?

La emergencia es aquí un umbral brusco de comportamiento que no surge de un salto en las capacidades, sino de una métrica censurada sobre una estructura que se acumula gradualmente dentro del modelo.