Mamba-3 : une alternative aux transformers à complexité linéaire

Le 17 mars 2026, une équipe de chercheurs de Carnegie Mellon University, de Princeton University, de Cartesia AI et de Together AI a publié un article sur Mamba-3, une nouvelle architecture de modèle d'espace d'états (state space model, SSM) conçue avant tout pour l'efficacité en inférence, et non à l'entraînement comme l'était son prédécesseur Mamba-2. Résultat principal : la variante Mamba-3 SISO surpasse Mamba-2, l'architecture Gated DeltaNet et même le transformer Llama-3.2-1B sur la latence cumulée des étapes de prefill et de decode, pour toutes les longueurs de séquence testées, à l'échelle de 1,5 milliard de paramètres.

Les faits clés de cette publication

• Date de publication : 17 mars 2026
• Auteurs : Aakash Lahoti et Kevin Y. Li (Carnegie Mellon University), Berlin Chen et Caitlin Wang (Princeton University), Aviv Bick et J. Zico Kolter (Carnegie Mellon University), Tri Dao (Princeton University, Together AI), Albert Gu (Carnegie Mellon University, Cartesia AI)
• Échelle des tests : modèles d'environ 1,5 milliard de paramètres
• Principales nouveautés d'architecture : une formule de récurrence plus expressive, un suivi d'état à valeurs complexes et une variante MIMO (multi-input, multi-output)
• Code ouvert : les kernels de calcul en Triton, TileLang et CuTe DSL sont publiés en accès libre

Pourquoi

Mamba-2 ne répond-il plus aux besoins de l'industrie ?

Depuis la sortie de Mamba-2 à la mi-2024, la plupart des architectures fondées sur les SSM sont passées de Mamba-1 à celui-ci. Ses concepteurs avaient parié que la vitesse d'entraînement restait le principal goulot d'étranglement, et ils ont simplifié le mécanisme SSM de base pour entraîner de 2 à 8 fois plus vite que son prédécesseur. Le pari a réussi et Mamba-2 s'est largement répandu dans l'industrie.

Mais le paysage des grands modèles de langage a nettement évolué depuis. Le pré-entraînement reste important, mais le post-entraînement et le déploiement attirent bien plus d'attention, et tous deux sont très gourmands en inférence. Le passage à l'échelle des méthodes de post-entraînement, notamment l'apprentissage par renforcement avec récompenses vérifiables (RLVR) pour le code et les mathématiques, exige de générer un nombre énorme de rollouts, tandis que les workflows agentiques, comme Codex, Claude Code ou OpenClaw, ont fait bondir la demande d'inférence.

Pourtant, de nombreuses architectures linéaires, Mamba-2 compris, ont été conçues à l'origine en priorisant l'entraînement : pour accélérer le pré-entraînement, le mécanisme SSM de base a été simplifié par étapes. Par exemple, la transition d'état diagonale a été ramenée à un scalaire multiplié par une matrice identité, ce qui a réduit l'expressivité du modèle au profit de la vitesse d'entraînement.

Que change

Mamba-3, et pourquoi une architecture optimisée pour l'inférence ?

Mamba-3 renverse cette logique. L'équipe a réintroduit une formule de récurrence plus expressive et le suivi d'état à valeurs complexes, des mécanismes que Mamba-2 avait simplifiés pour accélérer l'entraînement, et a ajouté une variante MIMO qui améliore la précision sans ralentir le décodage. Il en résulte une architecture dont la latence d'inférence est inférieure à celle de Mamba-2, de Gated DeltaNet et même du transformer classique Llama-3.

2-1B, avec un avantage qui se maintient sur toutes les longueurs de séquence testées à l'échelle de 1,5 milliard de paramètres. Comme les architectures SSM traitent une séquence avec une complexité de calcul linéaire, et non quadratique comme les transformers, le gain de Mamba-3 est surtout visible sur les contextes longs et sous forte charge à l'étape de génération, soit précisément là où se concentre aujourd'hui l'essentiel de la demande d'inférence rapide et peu coûteuse.

Ce que cela signifie pour le secteur

La publication en accès libre des kernels de calcul en Triton, TileLang et CuTe DSL abaisse la barrière d'entrée pour les équipes qui veulent intégrer Mamba-3 à leur propre infrastructure d'inférence. La collaboration entre laboratoires académiques (Carnegie Mellon University, Princeton University) et acteurs industriels (Together AI, Cartesia AI) reflète une tendance plus large : la recherche de pointe en architecture s'accompagne de plus en plus d'une infrastructure prête pour le déploiement concret, au lieu de rester un résultat théorique sur le papier. Pour le marché, c'est le signe que les alternatives à complexité linéaire aux transformers quittent le stade des expériences de laboratoire pour devenir de vrais candidats au rôle d'architecture de base des produits de nouvelle génération axés sur l'inférence, des assistants agentiques aux services de post-entraînement à grande échelle.