mLSTM и ортогонализация чтения: прирост recall — это обучаемость, а не память

En julio de 2026 apareció en arXiv un preprint (arXiv:2607.19390) que volvió a examinar un resultado muy comentado: la ortogonalización de la matriz de memoria de la red recurrente mLSTM durante la lectura (cinco iteraciones del algoritmo de Newton–Schulz, entrenadas de extremo a extremo) mejora drásticamente la recuperación asociativa ruidosa. El efecto se reproduce, pero, como muestran los autores, no se trata de una mejora de la memoria, sino de una aceleración del aprendizaje.

Una meseta, no memoria

El entrenamiento en esta tarea es una larga meseta al nivel de la adivinación aleatoria, seguida de un salto brusco hacia la solución. Según el preprint, la lectura ortogonalizada actúa precisamente durante la meseta: reacondiciona el propio problema de optimización, sin ampliar la cantidad de información almacenada. La decodificación directa del estado de la memoria mostró que los modelos "fallidos" ya retienen alrededor de la mitad de las asociaciones en una forma linealmente recuperable: la meseta resulta ser un fallo de lectura sobre un almacén escrito a medias, no una ausencia de escritura.

Tres propiedades reveladoras

Los autores presentan tres propiedades que demuestran que el efecto tiene que ver con la entrenabilidad, no con la capacidad de la memoria.

• Consistencia. La lectura exacta mediante el método recursivo de mínimos cuadrados (la capa Mesa) reproduce el efecto, mientras que la estimación straight-through, la escritura por regla delta, las claves aleatorias congeladas y la normalización habitual no lo hacen.
• Uniformidad. En una malla de "tasa de aprendizaje × complejidad", el truco multiplica por aproximadamente seis veces la probabilidad de salir de la meseta, sin una dependencia notable de la complejidad, y amplía el corredor operativo de la tasa de aprendizaje.
• Desmontabilidad. Aplicado a modelos ya fallidos en el momento de la inferencia, el truco no rescata a ninguno; desactivado mediante recocido justo después del salto, deja los mLSTM ordinarios con precisión completa.

Por qué la ganancia desaparece sin la arquitectura

La mayor parte de la ganancia publicada no requiere ningún cambio arquitectónico en absoluto. La proporción de tareas resueltas con un presupuesto fijo, como señalan los autores, mide la probabilidad de salir de la meseta, y esa probabilidad obedece a una ley de "calor y ruido": elasticidad respecto a la tasa de aprendizaje de +3.0, respecto al ruido del gradiente de −1.65. En este marco, el resultado original sobre un vocabulario de 96 tokens (vocab-96) resulta ser una condición de bajo ruido debida a los lotes grandes, y no una manifestación de la capacidad de memoria.

"Los benchmarks de memorización utilizados para seleccionar

arquitecturas miden parcialmente la entrenabilidad", se afirma en el resumen del preprint arXiv:2607.19390.

Qué significa esto

El resultado golpea dos hábitos de la industria. En primer lugar, los benchmarks de recall con los que se eligen las arquitecturas de los modelos miden parcialmente no la memoria, sino la facilidad con la que un modelo se entrena. En segundo lugar, el sistema resulta ser un vívido "organismo modelo" de la emergencia: un umbral abrupto en el comportamiento surge de una métrica censurada sobre una estructura que se acumula gradualmente, y no de la aparición repentina de una nueva capacidad.

Preguntas frecuentes

¿Qué es la lectura ortogonalizada en mLSTM?

La lectura ortogonalizada hace que la matriz de memoria de mLSTM sea ortogonal en el momento de la lectura, aquí mediante cinco iteraciones del algoritmo de Newton–Schulz, entrenadas de extremo a extremo. El preprint muestra que mejora no el almacenamiento de datos, sino las condiciones de optimización.

¿Por qué no se puede considerar la ganancia como una mejora de la memoria?

La ganancia es "desmontable": el truco no ayuda a los modelos fallidos ya entrenados en el momento de la inferencia y se desactiva por completo mediante recocido después de que el modelo da su salto, sin que caiga la precisión del mLSTM ordinario. Según el preprint, alrededor de la mitad de las asociaciones se almacenan en forma linealmente recuperable incluso sin él.

¿Qué es la emergencia en este contexto?

La emergencia aquí es un umbral de comportamiento abrupto que surge no de un salto en la capacidad, sino de una métrica censurada sobre una estructura que se acumula suavemente dentro del modelo.