MiniMax lanzó MSA: la atención dispersa acelera 28x el procesamiento de un contexto de 1 millón de tokens

MiniMax publicó una investigación sobre MSA (MiniMax Sparse Attention) — un nuevo mecanismo de atención dispersa que permite procesar contextos de hasta un millón de tokens 28 veces más rápido que el Grouped Query Attention estándar sin pérdida de calidad en los benchmarks.

Cómo Funciona MSA

MSA se construye sobre Grouped Query Attention (GQA) y utiliza una arquitectura dual-rama con dispersión en bloques. Los mecanismos tradicionales de atención operan según el principio "todos-con-todos": cada token de consulta accede a todas las claves y valores en el contexto. Para un contexto de un millón de tokens, esto requiere un número astronómico de operaciones y se vuelve computacionalmente impracticable.

La solución de MiniMax divide el proceso en dos etapas independientes. Primero, funciona una rama Index ligera — un módulo especializado que para cada consulta y cada grupo GQA selecciona los Top-k bloques más relevantes de claves y valores. Esta selección ocurre rápidamente y de forma económica. Luego, la rama Main realiza atención precisa y completa, pero solo sobre los bloques seleccionados — no sobre el contexto completo.

Es importante notar que la estructura dispersa en bloques de MSA es compatible con núcleos CUDA optimizados existentes. El equipo no necesitó crear implementaciones personalizadas de GPU: el mecanismo funciona eficientemente en hardware estándar.

Escala de Entrenamiento y Resultados

MSA fue entrenado como parte de un modelo MoE (Mixture of Experts) de 109 mil millones de parámetros con un presupuesto total de tokens de 3 billones. En escala, este es uno de los mayores experimentos públicamente documentados con mecanismos de atención dispersa.

Resultados clave:

• Reducción de la carga computacional por token — 28,4 veces para un contexto de 1 millón de tokens en comparación con GQA completo
• Calidad en benchmarks downstream estándar — comparable a GQA de referencia, la degradación es insignificante
• Compatibilidad arquitectónica: MSA se integra sobre GQA existente sin rediseñar el resto del modelo
• Funciona en núcleos CUDA estándar sin implementaciones personalizadas

"MSA preserva la precisión de GQA mientras reduce simultáneamente los costos computacionales de atención 28 veces para un contexto de un millón de tokens," — del informe técnico de

MiniMax.

Por Qué el Contexto Largo es Difícil de Escalar

Procesar secuencias largas es un problema ancestral en las arquitecturas Transformer. La memoria para el caché KV crece linealmente con la longitud del contexto, mientras que el número de operaciones de atención crece cuadráticamente. Para un contexto de 1 millón de tokens, esto significa billones de pares consulta-clave por capa del modelo.

La mayoría de las soluciones existentes hacen una concesión: truncan el contexto, utilizan una ventana deslizante o cambian a aproximaciones de atención linealizadas, perdiendo precisión. Arquitecturas alternativas como Mamba cambian fundamentalmente la estructura del modelo, lo que complica la transferencia de pesos y la compatibilidad con la infraestructura Transformer.

MSA ofrece un camino diferente: mantener la rama Main precisa (sin aproximaciones) y delegar la tarea de seleccionar bloques relevantes a una rama Index ligera. Esta división de responsabilidades es precisamente lo que proporciona aceleración de 28x sin pérdida apreciable de calidad.

Qué Significa Esto

Si los resultados se reproducen en condiciones de producción, MSA podría convertirse en una forma práctica de lograr contextos largos económicos — para trabajar con documentos grandes, bases de código y entradas multimodales. MiniMax ha divulgado los detalles técnicos del método, permitiendo que otros equipos adapten el enfoque a sus propias escalas.