MiniMax lanza MSA: la atención dispersa acelera 28 veces el procesamiento de contextos de un millón de tokens

MiniMax ha publicado la investigación sobre MSA (MiniMax Sparse Attention), un nuevo mecanismo de atención dispersa que procesa contextos de un millón de tokens 28 veces más rápido que el Grouped Query Attention estándar, sin pérdida de calidad en los benchmarks.

Cómo funciona MSA

MSA se construye sobre Grouped Query Attention (GQA) y emplea una arquitectura de dos ramas con dispersión por bloques. La atención tradicional funciona con el principio de «todos con todos»: cada token de consulta atiende a todas las claves y valores del contexto. Con un millón de tokens, esto exige un número astronómico de operaciones y resulta inviable desde el punto de vista computacional.

La solución de MiniMax divide el proceso en dos etapas independientes. Primero actúa la Index Branch, un módulo especializado y ligero que, para cada consulta y cada grupo GQA, selecciona los Top-k bloques de claves y valores más relevantes. Esta selección es rápida y barata. Después, la Main Branch ejecuta la atención completa y exacta, pero solo sobre los bloques seleccionados y no sobre todo el contexto.

La estructura dispersa por bloques de MSA es compatible con los kernels CUDA optimizados existentes. El equipo no tuvo que crear implementaciones personalizadas para GPU: el mecanismo funciona con eficiencia en hardware estándar.

Escala del entrenamiento y resultados

MSA se entrenó como parte de un modelo MoE (Mixture of Experts) de 109.000 millones de parámetros, con un presupuesto total de 3 billones de tokens. Por su escala, es uno de los mayores experimentos con atención dispersa documentados públicamente.

Resultados clave:

• Reducción de la carga de cómputo por token de 28,4 veces con un contexto de 1 millón de tokens frente al GQA completo
• Calidad en benchmarks estándar posteriores comparable a la del GQA base, con una degradación insignificante
• Compatibilidad arquitectónica: MSA se integra sobre el GQA existente sin rediseñar el resto del modelo
• Funciona con kernels CUDA estándar, sin implementaciones personalizadas

«MSA conserva la precisión de GQA y reduce 28 veces el coste computacional de la atención con un contexto de un millón de tokens», señala el informe técnico de

MiniMax.

Por qué es tan difícil escalar el contexto largo

Procesar secuencias largas es un problema histórico de las arquitecturas transformer. La memoria de la caché KV crece de forma lineal con la longitud del contexto, mientras que el número de operaciones de atención crece de forma cuadrática. Con 1 millón de tokens, eso supone billones de pares consulta-clave en cada capa del modelo.

La mayoría de las soluciones actuales sacrifican algo: recortan el contexto, usan ventana deslizante o recurren a aproximaciones linealizadas de la atención, con pérdida de precisión. Arquitecturas alternativas como Mamba cambian la estructura del modelo de raíz, lo que complica reutilizar pesos ya entrenados y mantener la compatibilidad con la infraestructura de transformers.

MSA propone otro camino: mantener la Main Branch exacta, sin aproximaciones, y delegar la selección de bloques relevantes a la Index Branch ligera. Esta división de tareas es la que logra la aceleración de 28 veces sin una pérdida de calidad apreciable.

Qué significa

Si los resultados se reproducen en entornos de producción, MSA podría ser una vía práctica hacia contextos largos baratos, para trabajar con documentos grandes, bases de código y entradas multimodales. MiniMax ha abierto los detalles técnicos del método, lo que permite a otros equipos adaptar el enfoque a sus propias escalas.