LLMs híbridos: camadas recorrentes suprimem o attention, e o treinamento em etapas ajuda

Os modelos de linguagem híbridos, nos quais a recorrência linear trabalha junto com o softmax attention, aprendem de um jeito diferente do que seus criadores supunham. Os autores do artigo Competing Learning in Hybrid Architectures mostraram que camadas de tipos distintos competem pela mesma função. A camada que a aprende primeiro apaga o sinal de aprendizado das demais.

Em geral, quem vence é a recorrência, e o attention fica sem a habilidade de retrieval. Interromper a atualização dos pesos das camadas recorrentes no meio do treinamento devolve o attention ao jogo. Em modelos de até 1B de parâmetros, o esquema em etapas melhorou o language modeling loss, o common-sense reasoning e as tarefas de retrieval em diferentes comprimentos de contexto.

Onde está o conflito

Os híbridos são populares por causa de um compromisso. As camadas recorrentes modernas oferecem uma mistura expressiva de tokens e alta vazão, porque comprimem o contexto em um estado de tamanho fixo. O custo é conhecido: na hora de extrair uma informação específica do contexto, elas perdem para o softmax attention, que acessa os tokens diretamente. A ideia do híbrido é manter o attention onde a busca precisa é necessária e deixar o restante do trabalho para a recorrência, mais barata.

Segundo os autores, essa lógica falha durante o treinamento. A layer attribution analysis mostrou que, com as distribuições de dados típicas, a recorrência moderna aprende as funções de retrieval mais rápido que o attention. Quando uma camada já aprendeu uma função, o sinal de aprendizado das outras camadas para essa função é suprimido. Como resultado, na maioria dos casos o attention nunca aprende a buscar. A arquitetura continua híbrida no papel, mas a camada para a qual ela foi projetada não cumpre sua tarefa.

Treinamento em etapas

O teste foi simples. Se a atualização dos pesos nas camadas recorrentes é interrompida no meio do treinamento, o attention consegue aprender retrieval. Dessa observação nasceu a staged training procedure para o pré-treinamento de híbridos em linguagem natural: deixa-se a recorrência trabalhar primeiro e, depois, abre-se espaço para o attention.

O abstract não revela os detalhes: em que momento congelar as camadas, como são estruturadas as etapas e o que acontece com a recorrência depois do congelamento. Esses parâmetros determinam se o método é reproduzível e terão de ser buscados no texto completo do artigo.

• Escala do teste: modelos de até 1B de parâmetros.
• Fenômeno: Competing Learning, a competição dos mixers pela mesma função.
• Ferramenta de diagnóstico: layer attribution analysis.
• Técnica: interrupção das atualizações das camadas recorrentes no meio do treinamento.
• Métricas: language modeling loss, common-sense reasoning, tarefas de retrieval em diferentes comprimentos de contexto.
• O abstract não traz ganhos numéricos; declara apenas uma "melhoria substancial".

O que verificar na prática

Equipes que pré-treinam seus próprios híbridos devem checar se a camada de attention realmente funciona para retrieval. Para isso, servem a análise de atribuição e a ablação com congelamento das camadas recorrentes em diferentes etapas. Os testes de extração de informações do contexto precisam ser executados em vários comprimentos, e não em apenas um. A comparação "híbrido contra recorrência pura" pode esconder o problema: o attention está formalmente presente, mas não contribui para a busca.

O resultado tem limitações. 1B de parâmetros está bem longe dos tamanhos em que os modelos comerciais atuais são treinados. Não se sabe se o efeito se mantém com dezenas de bilhões de parâmetros e com outras misturas de dados. O ganho declarado ainda não é sustentado por números na descrição disponível. Mesmo assim, o diagnóstico em si é útil: se as camadas se deslocam umas às outras, não basta ajustar a proporção entre camadas recorrentes e de attention; é preciso controlar a ordem em que elas são treinadas.