Moonshot AI apresenta Attention Residuals, alternativa às conexões residuais em transformers

A Moonshot AI lançou o Attention Residuals, uma atualização de arquitetura para transformers que muda um dos elementos mais básicos do modelo: as conexões residuais. Em vez de somar de forma fixa as saídas de todas as camadas anteriores, a equipe propõe depth-wise attention, para que o próprio modelo decida quais representações da profundidade da rede realmente lhe interessam.

Onde está o gargalo

Na maioria dos LLMs modernos, cada nova camada não apenas processa a entrada, mas soma seu resultado ao estado oculto comum. Esse esquema, herdado da abordagem residual e especialmente popular em arquiteturas PreNorm, ajuda a treinar redes profundas sem que os gradientes se desfaçam. Mas há um custo: todas as representações anteriores são misturadas com o mesmo peso, e sua contribuição se dilui com o tempo. Conforme a profundidade cresce, os estados ocultos aumentam aproximadamente de forma linear, e fica cada vez mais difícil extrair sinais iniciais de maneira útil.

A Moonshot AI chama isso de problema de depth-wise aggregation: o modelo aprendeu bem a escolher tokens importantes ao longo da sequência e a rotear especialistas em MoE, mas, na profundidade da rede, ainda vive de soma fixa. Os pesquisadores traçam uma analogia direta com a era das RNNs: a sequência também já foi comprimida em um único estado, até que o attention deu a cada token acesso a todos os passos anteriores. Aqui, a proposta é fazer quase o mesmo, só que não no tempo, e sim nas camadas.

Como funciona o AttnRes

No Attention Residuals, cada camada recebe não a soma geral de todas as saídas anteriores, mas uma combinação ponderada das representações anteriores por meio de softmax-attention. O peso depende da própria camada e dos dados de entrada, então a rede pode reforçar sinais úteis e atenuar ruído, em vez de herdar tudo igualmente.

Na variante prática, usa-se um mecanismo bem leve: um vetor de pseudoconsulta treinável por camada. Com isso, a ideia parece menos uma reformulação radical do transformer e mais uma substituição relativamente compacta do esquema residual habitual.

A versão completa do AttnRes exige armazenar todos os estados anteriores, por isso, para modelos grandes, a Moonshot AI propõe o Block AttnRes. As camadas são divididas em blocos; dentro de cada bloco permanece o acúmulo comum, e o attention é aplicado entre as representações-resumo dos blocos. Segundo a equipe, uma configuração com cerca de oito blocos preserva a maior parte do ganho da versão completa, reduz os requisitos de memória e comunicação de O(Ld) para O(Nd) e mantém a latência adicional na inferência abaixo de 2%.

O que os testes mostraram

A Moonshot AI testou a abordagem não só em experimentos de scaling law, mas também no grande modelo pré-treinado Kimi Linear, com 48 bilhões de parâmetros, dos quais 3 bilhões são ativados, após treinamento com 1,4 trilhão de tokens. A tese central: o Block AttnRes atinge a mesma função de perda do modelo-base treinado com orçamento computacional 1,25 vez maior. Ou seja, não se trata de ajuste cosmético, mas de um escalonamento potencialmente mais vantajoso.

• GPQA-Diamond: 36.9 → 44.4
• HumanEval: 59.1 → 62.2
• MMLU: 73.5 → 74.6
• C-Eval: 79.6 → 82.5
• Latência na inferência: menos de 2%

A dinâmica de treinamento merece destaque à parte. No relatório, a equipe escreve que o AttnRes atenua o efeito de PreNorm dilution: a amplitude dos estados ocultos não se espalha com a profundidade, e as normas dos gradientes se distribuem de forma mais uniforme pelas camadas. Na prática, isso significa um treinamento mais controlável e menor chance de que parte da profundidade do modelo funcione como lastro caro, porém pouco útil. Os maiores ganhos vieram em raciocínio de múltiplas etapas e geração de código, o que torna o trabalho especialmente interessante para futuros LLMs e sistemas de agentes.

O que isso significa

Isto não é um novo chatbot nem um recurso para o usuário, mas uma tentativa de reescrever um dos blocos básicos dos transformers. Se os resultados da Moonshot AI forem confirmados em outras arquiteturas e em stacks industriais, a corrida pela qualidade dos LLMs dependerá cada vez mais não só de mais dados e GPUs, mas também de uma mecânica interna mais inteligente dos próprios modelos.