Moonshot AI presenta Attention Residuals, una alternativa a las conexiones residuales en los transformadores

Moonshot AI ha lanzado Attention Residuals, una actualización arquitectónica para transformadores que cambia uno de los elementos más básicos del modelo: las conexiones residuales. En lugar de sumar de forma fija las salidas de todas las capas anteriores, el equipo propone una atención en profundidad (depth-wise attention) para que el propio modelo decida qué representaciones de la profundidad de la red necesita realmente.

Dónde está el cuello de botella

En la mayoría de los LLM actuales, cada nueva capa no se limita a procesar su entrada, sino que suma su resultado al estado oculto común. Este esquema, heredado del enfoque residual y especialmente popular en las arquitecturas PreNorm, ayuda a entrenar redes profundas sin que los gradientes se desmoronen. Pero tiene un coste: todas las representaciones anteriores se mezclan con el mismo peso y su aportación se diluye con el tiempo. A medida que crece la profundidad, los estados ocultos aumentan aproximadamente de forma lineal y resulta cada vez más difícil extraer las señales tempranas de forma útil.

Moonshot AI lo denomina el problema de la agregación en profundidad (depth-wise aggregation): los modelos han aprendido a elegir los tokens importantes a lo largo de la secuencia y a enrutar expertos en MoE, pero a lo largo de la profundidad de la red siguen dependiendo de una suma fija. Los investigadores trazan una analogía directa con la época de las RNN: antes la secuencia también se comprimía en un solo estado, hasta que la atención dio a cada token acceso a todos los pasos anteriores. Aquí se propone hacer casi lo mismo, pero no a lo largo del tiempo, sino de las capas.

Cómo funciona AttnRes

En Attention Residuals, cada capa recibe no la suma común de todas las salidas anteriores, sino una combinación ponderada de las representaciones previas mediante atención softmax. El peso depende de la propia capa y de los datos de entrada, de modo que la red puede reforzar las señales útiles y atenuar el ruido, en lugar de heredarlo todo por igual.

La variante práctica emplea un mecanismo muy ligero: un vector pseudoconsulta entrenable por capa. Así, la idea parece menos una reconstrucción radical del transformador y más un reemplazo relativamente compacto del esquema residual habitual.

La versión completa de AttnRes exige almacenar todos los estados anteriores, por lo que para los modelos grandes Moonshot AI propone Block AttnRes. Las capas se dividen en bloques; dentro de cada bloque se mantiene la acumulación habitual y la atención se aplica entre las representaciones resumen de los bloques. Según el equipo, una configuración con unos ocho bloques conserva la mayor parte de la ganancia de la versión completa, reduce los requisitos de memoria y comunicación de O(Ld) a O(Nd) y mantiene la latencia adicional en inferencia por debajo del 2 %.

Qué mostraron las pruebas

Moonshot AI probó el enfoque no solo en experimentos de leyes de escalado, sino también en el gran modelo preentrenado Kimi Linear, con 48.000 millones de parámetros, de los cuales 3.000 millones se activan, tras entrenarlo con 1,4 billones de tokens. La tesis clave: Block AttnRes alcanza la misma función de pérdida que el modelo base entrenado con un presupuesto de cómputo 1,25 veces mayor. Es decir, no se trata de un ajuste cosmético, sino de un escalado potencialmente más rentable.

• GPQA-Diamond: 36.9 → 44.4
• HumanEval: 59.1 → 62.2
• MMLU: 73.5 → 74.6
• C-Eval: 79.6 → 82.5
• Latencia en inferencia: menos del 2 %

La dinámica del entrenamiento merece mención aparte. En su informe, el equipo escribe que AttnRes mitiga el efecto de dilución de PreNorm (PreNorm dilution): la amplitud de los estados ocultos no se dispara con la profundidad y las normas de los gradientes se reparten de manera más uniforme entre las capas. En la práctica, esto significa un entrenamiento más controlable y menos probabilidad de que parte de la profundidad del modelo actúe como un lastre caro pero de poca utilidad. Las mejoras más notables se dieron en el razonamiento de varios pasos y la generación de código, lo que hace que el trabajo resulte especialmente interesante para los futuros LLM y sistemas de agentes.

Qué significa

No es un nuevo chatbot ni una función para el usuario, sino un intento de reescribir uno de los bloques básicos de los transformadores. Si los resultados de Moonshot AI se confirman en otras arquitecturas y en pilas industriales, la carrera por la calidad de los LLM dependerá cada vez más no solo de más datos y GPU, sino también de una mecánica interna más inteligente de los propios modelos.