Huginn supera a Ouro en los 10 benchmarks: así se diseñan los LLM recurrentes

La arquitectura de los modelos recurrentes: tres ejes de diseño

Los modelos de lenguaje recurrentes reutilizan los bloques físicos de un Transformer para lograr profundidad lógica, ahorrando recursos computacionales. Sin embargo, las arquitecturas existentes mezclan tres ejes de diseño críticos: la colocación de los bloques recurrentes, la forma de inyectar las señales de entrada y la organización del estado recurrente. Los investigadores del Institute of Foundation Models realizaron una comparación controlada de estos ejes en modelos entrenados desde cero, con parámetros, profundidad lógica y presupuesto de tokens equivalentes.

Los autores del trabajo son Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, Eric Xing y Xuezhe Ma. El estudio mostró que una arquitectura sandwich de prelude-recurrent block-coda (introducción → bloques recíclicos → conclusión) supera de forma consistente a otras configuraciones de colocación de la recurrencia. Este enfoque mejora significativamente el rendimiento en tareas de recuperación de contexto y en las que exigen razonamiento lógico complejo.

Inyección de entrada y estado recurrente: qué funciona y qué no

La inyección de entrada (introducir los datos de entrada en cada paso del bucle) mejora principalmente la recuperación de conocimiento y el uso eficiente del contexto. En cambio, la inicialización aleatoria del estado oculto y el esquema de estados recurrentes separados para los parámetros H y L arrojan resultados mixtos o claramente negativos, sin justificar la complejidad adicional que suman.

Huginn contra

Ouro: comparación completa en todos los benchmarks

A escala base (730M de parámetros, 336.000 millones de tokens de entrenamiento), la arquitectura completa de Huginn supera a Ouro en los diez benchmarks de prueba. Las ventajas se mantienen al escalar a modelos Mixture-of-Experts (MoE). A escala de 8B×0,8B parámetros (32B×3B al desplegarse), entrenados con 500.000 millones de tokens, los modelos Huginn demuestran superioridad sobre Ouro en prácticamente todos los benchmarks, abarcando conocimiento, razonamiento y programación.

Resultados concretos en benchmarks específicos:

• DROP (extracción de información de texto): Huginn gana • GSM8K (razonamiento matemático con problemas verbales): Huginn gana • MATH500 (problemas matemáticos complejos): Huginn empata con el modelo MoE base

El enrutamiento de expertos en Huginn está más equilibrado, lo que reduce el problema de especialización y colapso de expertos —cuando la mayoría de los ejemplos se dirige a un solo experto.

Eficiencia de parámetros y aplicación práctica

Con FLOPs equivalentes de entrenamiento e inferencia, la arquitectura de Huginn usa un 75% menos de parámetros residentes que un modelo MoE base feedforward de 112 capas. A pesar de tener menos parámetros físicos, el modelo supera a la línea base en DROP y GSM8K, empata en MATH500 y sigue siendo competitivo en los otros siete benchmarks. Esto convierte a Huginn en una arquitectura prometedora para modelos de lenguaje grandes y eficientes en parámetros, especialmente ante restricciones de memoria o necesidades de inferencia rápida. La investigación es completamente abierta en el repositorio de GitHub xllm-loop, lo que permite a la comunidad reproducir los resultados y seguir desarrollando a partir de estos principios de diseño.