MiniMax a lancé MSA : l’attention clairsemée accélère de 28x le traitement d’un contexte de 1 million de tokens

MiniMax a publié une recherche sur MSA (MiniMax Sparse Attention) — un nouveau mécanisme d'attention dispersée qui permet de traiter des contextes de jusqu'à un million de tokens 28 fois plus rapidement que le Grouped Query Attention standard sans perte de qualité sur les benchmarks.

Comment Fonctionne MSA

MSA est construit sur Grouped Query Attention (GQA) et utilise une architecture double branche avec sparsité par blocs. Les mécanismes d'attention traditionnels fonctionnent selon le principe « tous-avec-tous » : chaque token de requête accède à toutes les clés et valeurs dans le contexte. Pour un contexte d'un million de tokens, cela nécessite un nombre astronomique d'opérations et devient computationnellement impraticable.

La solution de MiniMax divise le processus en deux étapes indépendantes. D'abord, une branche Index légère fonctionne — un module spécialisé qui pour chaque requête et chaque groupe GQA sélectionne les Top-k blocs les plus pertinents de clés et valeurs. Cette sélection se fait rapidement et économiquement. Ensuite, la branche Main effectue l'attention complète et précise, mais seulement sur les blocs sélectionnés — pas sur l'intégralité du contexte.

Il est important de noter que la structure dispersée par blocs de MSA est compatible avec les noyaux CUDA optimisés existants. L'équipe n'a pas eu besoin de créer des implémentations GPU personnalisées : le mécanisme fonctionne efficacement sur du matériel standard.

Échelle d'Entraînement et Résultats

MSA a été entraîné dans le cadre d'un modèle MoE (Mixture of Experts) de 109 milliards de paramètres avec un budget total de tokens de 3 billions. À cette échelle, c'est l'une des plus grandes expériences publiquement documentées avec des mécanismes d'attention dispersée.

Résultats clés :

• Réduction de la charge computationnelle par token — 28,4 fois pour un contexte de 1 million de tokens par rapport à GQA complet
• Qualité sur les benchmarks downstream standard — comparable à GQA de référence, la dégradation est négligeable
• Compatibilité architecturale : MSA s'intègre par-dessus GQA existant sans refonte du reste du modèle
• Fonctionne sur les noyaux CUDA standard sans implémentations personnalisées

« MSA préserve la précision de GQA tout en réduisant simultanément les coûts computationnels de l'attention 28 fois pour un contexte d'un million de tokens, » — du rapport technique de

MiniMax.

Pourquoi le Contexte Long est Difficile à Mettre à l'Échelle

Traiter de longues séquences est un problème de longue date dans les architectures Transformer. La mémoire pour le cache KV croît linéairement avec la longueur du contexte, tandis que le nombre d'opérations d'attention croît quadratiquement. Pour un contexte d'un million de tokens, cela signifie des billions de paires requête-clé par couche du modèle.

La plupart des solutions existantes font un compromis : elles tronquent le contexte, utilisent une fenêtre glissante ou passent à des approximations d'attention linéarisées, perdant en précision. Les architectures alternatives comme Mamba changent fondamentalement la structure du modèle, ce qui complique le transfert des poids et la compatibilité avec l'infrastructure Transformer.

MSA propose un chemin différent : garder la branche Main exacte (sans approximations) et déléguer la tâche de sélection des blocs pertinents à une branche Index légère. Cette division du travail est précisément ce qui fournit une accélération 28x sans perte de qualité notable.

Ce Que Cela Signifie

Si les résultats se reproduisent en conditions de production, MSA pourrait devenir un moyen pratique d'obtenir des contextes longs économiques — pour travailler avec de grands documents, des bases de code et des entrées multimodales. MiniMax a divulgué les détails techniques de la méthode, permettant aux autres équipes d'adapter l'approche à leurs propres échelles.