MiniMax dévoile MSA : l'attention parcimonieuse accélère de 28 fois le traitement d'un contexte d'un million de tokens

MiniMax a publié ses travaux sur MSA (MiniMax Sparse Attention), un nouveau mécanisme d'attention parcimonieuse qui traite des contextes d'un million de tokens 28 fois plus vite que le Grouped Query Attention standard, sans perte de qualité sur les benchmarks.

Comment fonctionne MSA

MSA s'appuie sur le Grouped Query Attention (GQA) et adopte une architecture à deux branches, parcimonieuse par blocs. L'attention classique obéit au principe du « tous avec tous » : chaque token de requête consulte l'ensemble des clés et des valeurs du contexte. À un million de tokens, cela exige un nombre astronomique d'opérations et devient impraticable sur le plan du calcul.

La solution de MiniMax scinde le processus en deux étapes indépendantes. D'abord, l'Index Branch, un module spécialisé et léger, sélectionne pour chaque requête et chaque groupe GQA les Top-k blocs de clés et de valeurs les plus pertinents. Cette sélection est rapide et peu coûteuse. Ensuite, la Main Branch effectue une attention complète et exacte, mais uniquement sur les blocs retenus, et non sur tout le contexte.

La structure parcimonieuse par blocs de MSA est compatible avec les noyaux CUDA optimisés existants. L'équipe n'a pas eu à développer d'implémentations GPU sur mesure : le mécanisme tourne efficacement sur du matériel standard.

Échelle de l'entraînement et résultats

MSA a été entraîné au sein d'un modèle MoE (Mixture of Experts) de 109 milliards de paramètres, pour un budget total de 3 000 milliards de tokens. Par son ampleur, c'est l'une des plus grandes expériences d'attention parcimonieuse documentées publiquement.

Résultats clés :

• Réduction de la charge de calcul par token de 28,4 fois avec un contexte de 1 million de tokens, par rapport au GQA complet
• Qualité sur les benchmarks aval standards comparable à celle du GQA de référence, avec une dégradation négligeable
• Compatibilité architecturale : MSA se greffe sur le GQA existant sans refonte du reste du modèle
• Fonctionne avec des noyaux CUDA standards, sans implémentations sur mesure

« MSA conserve la précision du GQA tout en réduisant de 28 fois le coût de calcul de l'attention avec un contexte d'un million de tokens », indique le rapport technique de

MiniMax.

Pourquoi le contexte long est si difficile à faire passer à l'échelle

Le traitement des longues séquences est un problème ancien des architectures transformer. La mémoire du cache KV croît linéairement avec la longueur du contexte, tandis que le nombre d'opérations d'attention croît de façon quadratique. Pour un contexte de 1 million de tokens, cela représente des milliers de milliards de paires requête-clé à chaque couche du modèle.

La plupart des solutions existantes font des compromis : elles tronquent le contexte, utilisent une fenêtre glissante ou recourent à des approximations linéarisées de l'attention, au détriment de la précision. Les architectures alternatives comme Mamba modifient la structure du modèle en profondeur, ce qui complique la réutilisation de poids déjà entraînés et la compatibilité avec l'infrastructure transformer.

MSA propose une autre voie : garder la Main Branch exacte, sans approximation, et déléguer la sélection des blocs pertinents à l'Index Branch légère. C'est cette répartition des rôles qui produit l'accélération de 28 fois sans perte de qualité notable.

Ce que cela change

Si les résultats se confirment en conditions de production, MSA pourrait devenir une voie concrète vers des contextes longs bon marché, pour traiter de gros documents, des bases de code et des entrées multimodales. MiniMax a ouvert les détails techniques de la méthode, ce qui permet à d'autres équipes d'adapter l'approche à leur propre échelle.