MiniMax lança MSA: atenção esparsa acelera em 28 vezes o processamento de contexto de um milhão de tokens

A MiniMax publicou a pesquisa sobre o MSA (MiniMax Sparse Attention), novo mecanismo de atenção esparsa que processa contextos de um milhão de tokens 28 vezes mais rápido que o Grouped Query Attention padrão, sem perda de qualidade nos benchmarks.

Como o MSA funciona

O MSA é construído sobre o Grouped Query Attention (GQA) e usa uma arquitetura de dois ramos com esparsidade em blocos. A atenção tradicional segue o princípio de "todos com todos": cada token de consulta acessa todas as chaves e valores do contexto. Com um milhão de tokens, isso exige um número astronômico de operações e se torna inviável do ponto de vista computacional.

A solução da MiniMax divide o processo em duas etapas independentes. Primeiro atua o Index Branch, um módulo especializado e leve que, para cada consulta e cada grupo GQA, seleciona os Top-k blocos de chaves e valores mais relevantes. Essa seleção é rápida e barata. Em seguida, o Main Branch executa a atenção completa e exata, mas só sobre os blocos selecionados, e não sobre todo o contexto.

A estrutura esparsa em blocos do MSA é compatível com os kernels CUDA otimizados já existentes. A equipe não precisou criar implementações personalizadas para GPU: o mecanismo roda de forma eficiente em hardware padrão.

Escala do treinamento e resultados

O MSA foi treinado como parte de um modelo MoE (Mixture of Experts) de 109 bilhões de parâmetros, com orçamento total de 3 trilhões de tokens. Em escala, é um dos maiores experimentos com atenção esparsa documentados publicamente.

Principais resultados:

• Redução da carga de computação por token de 28,4 vezes em contexto de 1 milhão de tokens, em comparação com o GQA completo
• Qualidade em benchmarks downstream padrão comparável à do GQA base, com degradação insignificante
• Compatibilidade arquitetural: o MSA se encaixa sobre o GQA existente sem reformular o restante do modelo
• Funciona com kernels CUDA padrão, sem implementações personalizadas

"O MSA preserva a precisão do GQA e, ao mesmo tempo, reduz em 28 vezes o custo computacional da atenção em contexto de um milhão de tokens", diz o relatório técnico da

MiniMax.

Por que é tão difícil escalar contextos longos

Processar sequências longas é um problema antigo das arquiteturas transformer. A memória do cache KV cresce linearmente com o tamanho do contexto, enquanto o número de operações de atenção cresce de forma quadrática. Para um contexto de 1 milhão de tokens, isso significa trilhões de pares consulta-chave em cada camada do modelo.

A maioria das soluções atuais faz concessões: corta o contexto, usa janela deslizante ou recorre a aproximações linearizadas da atenção, perdendo precisão. Arquiteturas alternativas como a Mamba mudam a estrutura do modelo de forma fundamental, o que dificulta o reaproveitamento de pesos já treinados e a compatibilidade com a infraestrutura de transformers.

O MSA propõe outro caminho: manter o Main Branch exato, sem aproximações, e delegar a seleção dos blocos relevantes ao Index Branch leve. É essa divisão de tarefas que entrega a aceleração de 28 vezes sem perda perceptível de qualidade.

O que isso significa

Se os resultados se confirmarem em condições de produção, o MSA pode se tornar um caminho prático para contextos longos baratos, úteis para trabalhar com documentos grandes, bases de código e entradas multimodais. A MiniMax abriu os detalhes técnicos do método, o que permite que outras equipes adaptem a abordagem às suas próprias escalas.