LLM híbridos: las capas recurrentes silencian al attention, y el entrenamiento por etapas ayuda

Los modelos de lenguaje híbridos, en los que la recurrencia lineal trabaja junto con el softmax attention, se entrenan de otra manera de lo que suponían sus creadores. Los autores del artículo Competing Learning in Hybrid Architectures demuestran que las capas de distinto tipo compiten por la misma función. La capa que la aprende primero apaga la señal de entrenamiento para las demás.

Por lo general gana la recurrencia, y el attention se queda sin la habilidad de retrieval. Detener la actualización de los pesos de las capas recurrentes a mitad del entrenamiento devuelve al attention al juego. En modelos de hasta 1B de parámetros, el esquema por etapas mejoró el language modeling loss, el common-sense reasoning y las tareas de retrieval con distintas longitudes de contexto.

Dónde está el conflicto

Los híbridos son populares por el compromiso que ofrecen. Las capas recurrentes actuales aportan una mezcla expresiva de tokens y un alto rendimiento, porque comprimen el contexto en un estado de tamaño fijo. El precio es conocido: al extraer información concreta del contexto, quedan por detrás del softmax attention, que accede a los tokens directamente. La idea del híbrido consiste en conservar el attention donde hace falta una búsqueda precisa y dejar el resto del trabajo a una recurrencia barata.

Según los autores, esta lógica se rompe durante el entrenamiento. El layer attribution analysis mostró que, con las distribuciones de datos habituales, la recurrencia actual aprende las funciones de retrieval más rápido que el attention. Cuando una capa ya ha aprendido una función, la señal de entrenamiento para las demás capas respecto a ella se suprime. El resultado es que, en la mayoría de los casos, el attention nunca aprende a buscar. La arquitectura sigue siendo híbrida sobre el papel, pero la capa para la que se diseñó no cumple su cometido.

Entrenamiento por etapas

La comprobación resultó sencilla. Si se detiene la actualización de los pesos de las capas recurrentes a mitad del entrenamiento, el attention llega a aprender retrieval. Sobre esta observación se construye un staged training procedure para preentrenar híbridos con lenguaje natural: primero se deja trabajar a la recurrencia y después se libera espacio para el attention.

El abstract no da detalles: en qué momento congelar las capas, cómo se organizan las etapas y qué ocurre con la recurrencia después de la congelación. Esos parámetros determinan si el método es reproducible, y habrá que buscarlos en el texto completo del artículo.

• Escala de la prueba: modelos de hasta 1B de parámetros.
• Fenómeno: Competing Learning, la competencia de los mezcladores por una misma función.
• Herramienta de diagnóstico: layer attribution analysis.
• Técnica: detener las actualizaciones de las capas recurrentes a mitad del entrenamiento.
• Métricas: language modeling loss, common-sense reasoning y tareas de retrieval con distintas longitudes de contexto.
• El abstract no ofrece cifras de mejora; solo declara una «mejora sustancial».

Qué conviene comprobar en la práctica

Los equipos que preentrenan sus propios híbridos deberían verificar si su capa de attention funciona para retrieval. Para ello sirven el análisis de atribución y la ablación con congelación de las capas recurrentes en distintas etapas. Las pruebas de extracción de información del contexto deben ejecutarse con varias longitudes, no con una sola. La comparación «híbrido frente a recurrencia pura» puede ocultar el problema: el attention está presente de manera formal, pero no contribuye a la búsqueda.

El resultado tiene limitaciones. 1B de parámetros queda lejos de los tamaños con los que se entrenan los modelos comerciales actuales. No se sabe si el efecto se mantendrá con decenas de miles de millones de parámetros ni con otras mezclas de datos. La mejora declarada aún no está respaldada por cifras en la descripción disponible. Aun así, el diagnóstico en sí es útil: si las capas se desplazan unas a otras, el problema no se resuelve solo ajustando la proporción de capas recurrentes y de attention; hay que gestionar el orden en que se entrenan.