Huginn supera o Ouro em todos os 10 benchmarks: o design dos LLMs recorrentes

A arquitetura dos modelos recorrentes: três eixos de design

Modelos de linguagem recorrentes reutilizam os blocos físicos de um Transformer para alcançar profundidade lógica, economizando recursos computacionais. No entanto, as arquiteturas existentes misturam três eixos de design críticos: o posicionamento dos blocos recorrentes, a forma de injetar os sinais de entrada e a organização do estado recorrente. Pesquisadores do Institute of Foundation Models realizaram uma comparação controlada desses eixos em modelos treinados do zero, com parâmetros, profundidade lógica e orçamento de tokens equivalentes.

Os autores do trabalho são Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, Eric Xing e Xuezhe Ma. O estudo mostrou que uma arquitetura sanduíche prelude-recurrent block-coda (introdução → blocos recorrentes → conclusão) supera consistentemente outras configurações de posicionamento da recorrência. Essa abordagem melhora significativamente o desempenho em tarefas de recuperação de contexto e em tarefas que exigem raciocínio lógico complexo.

Injeção de entrada e estado recorrente: o que funciona e o que não funciona

A injeção de entrada (alimentar os dados de entrada em cada etapa do loop) melhora principalmente a recuperação de conhecimento e o uso eficiente do contexto. Já a inicialização aleatória do estado oculto e o esquema de estados recorrentes separados para os parâmetros H e L trazem resultados mistos ou claramente negativos, sem justificar a complexidade adicional.

Huginn contra

Ouro: comparação completa em todos os benchmarks

Na escala base (730M de parâmetros, 336 bilhões de tokens de treinamento), a arquitetura completa do Huginn supera o Ouro em todos os dez benchmarks de teste. As vantagens se mantêm ao escalar para modelos Mixture-of-Experts (MoE). Na escala de 8B×0,8B parâmetros (32B×3B em produção), treinados com 500 bilhões de tokens, os modelos Huginn demonstram superioridade sobre o Ouro em praticamente todos os benchmarks, abrangendo conhecimento, raciocínio e programação.

Resultados concretos em benchmarks nomeados:

• DROP (extração de informação de texto): Huginn vence • GSM8K (raciocínio matemático com problemas verbais): Huginn vence • MATH500 (problemas matemáticos complexos): Huginn empata com o modelo MoE base

O roteamento de especialistas no Huginn é mais equilibrado, o que reduz o problema de especialização e colapso de especialistas — quando a maioria dos exemplos é roteada para um único especialista.

Eficiência de parâmetros e aplicação prática

Com FLOPs equivalentes de treinamento e inferência, a arquitetura do Huginn usa 75% menos parâmetros residentes em comparação com um modelo MoE base feedforward de 112 camadas. Apesar do menor número de parâmetros físicos, o modelo supera a linha de base em DROP e GSM8K, empata em MATH500 e permanece competitivo nos outros sete benchmarks. Isso torna o Huginn uma arquitetura promissora para modelos de linguagem grandes e eficientes em parâmetros, especialmente em cenários com restrições de memória ou exigências de inferência rápida. A pesquisa está totalmente aberta no repositório xllm-loop no GitHub, permitindo que a comunidade reproduza os resultados e desenvolva a partir desses princípios de design.