MiniMax lançou o MSA: atenção esparsa acelera em 28x o processamento de contexto de 1 milhão de tokens

A MiniMax publicou uma pesquisa sobre MSA (MiniMax Sparse Attention) — um novo mecanismo de atenção esparsa que permite processar contextos de até um milhão de tokens 28 vezes mais rápido do que o Grouped Query Attention padrão sem perda de qualidade em benchmarks.

Como o MSA Funciona

O MSA é construído sobre Grouped Query Attention (GQA) e utiliza uma arquitetura dual-branch com esparsidade em blocos. Mecanismos tradicionais de atenção operam segundo o princípio "tudo-com-tudo": cada token de consulta acessa todas as chaves e valores no contexto. Para um contexto de um milhão de tokens, isso exige um número astronômico de operações e se torna computacionalmente impraticável.

A solução da MiniMax divide o processo em dois estágios independentes. Primeiro, funciona um Index Branch leve — um módulo especializado que para cada consulta e cada grupo GQA seleciona os Top-k blocos mais relevantes de chaves e valores. Esta seleção acontece rapidamente e com baixo custo. Em seguida, o Main Branch realiza atenção precisamente completa, mas apenas sobre os blocos selecionados — não sobre o contexto inteiro.

É importante notar que a estrutura bloco-esparsa do MSA é compatível com núcleos CUDA otimizados existentes. A equipe não precisou criar implementações GPU customizadas: o mecanismo funciona eficientemente em hardware padrão.

Escala de Treinamento e Resultados

O MSA foi treinado como parte de um modelo MoE (Mixture of Experts) de 109 bilhões de parâmetros com um orçamento total de tokens de 3 trilhões. Em escala, este é um dos maiores experimentos publicamente documentados com mecanismos de atenção esparsa.

Resultados principais:

• Redução da carga computacional por token — 28,4 vezes para um contexto de 1 milhão de tokens em comparação com GQA completo
• Qualidade em benchmarks downstream padrão — comparável ao GQA de referência, a degradação é negligenciável
• Compatibilidade arquitetônica: o MSA se integra sobre o GQA existente sem reformulação do resto do modelo
• Funciona em núcleos CUDA padrão sem implementações customizadas

"O MSA preserva a precisão do GQA enquanto reduz simultaneamente os custos computacionais de atenção em 28 vezes para um contexto de um milhão de tokens," — do relatório técnico da

MiniMax.

Por Que Contexto Longo é Difícil de Escalar

Processar sequências longas é um problema de longa data nas arquiteturas Transformer. A memória para o cache KV cresce linearmente com o comprimento do contexto, enquanto o número de operações de atenção cresce quadraticamente. Para um contexto de 1 milhão de tokens, isso significa trilhões de pares consulta-chave por camada do modelo.

A maioria das soluções existentes faz uma concessão: trunca o contexto, usa uma janela deslizante ou muda para aproximações de atenção linearizadas, perdendo precisão. Arquiteturas alternativas como Mamba alteram fundamentalmente a estrutura do modelo, o que complica a transferência de pesos e a compatibilidade com a infraestrutura Transformer.

O MSA oferece um caminho diferente: manter o Main Branch exato (sem aproximações) e delegar a tarefa de selecionar blocos relevantes para um Index Branch leve. Esta divisão de responsabilidades é exatamente o que fornece aceleração de 28x sem perda notável de qualidade.

O Que Isto Significa

Se os resultados se reproduzirem em condições de produção, o MSA poderia se tornar uma forma prática de alcançar contextos longos baratos — para trabalhar com grandes documentos, bases de código e entradas multimodais. A MiniMax divulgou os detalhes técnicos do método, permitindo que outros times adaptem a abordagem para suas próprias escalas.