NVIDIA présente ReplaySSM : accélérer le décodage des modèles hybrides Mamba et GDN

NVIDIA a publié sur son Developer Blog un article consacré à ReplaySSM : une tentative de repenser la façon dont la pile d'inférence stocke l'état des couches SSM lors du décodage des modèles hybrides. La liste des architectures concernées donne la mesure du sujet. Nemotron 3, Qwen3.5 jusqu'à Qwen3.8, Kimi-K3 et GLM-5.3-Flash reposent tous sur le même schéma : quelques couches d'attention s'intercalent entre des couches de state-space model. Le fragment de l'article dont nous disposons s'arrête à l'introduction : il ne contient donc aucun chiffre d'accélération, et nous n'en inventerons pas.

Pourquoi les hybrides sont devenus la norme

Trois variantes jouent le rôle de couche SSM dans ces modèles : Mamba-2, Gated DeltaNet (GDN) et Kimi Delta Attention (KDA). L'idée est la même pour toutes. Une couche d'attention classique stocke un KV-cache, qui grandit à chaque nouveau token de contexte. Une couche SSM, elle, conserve un état de taille fixe qu'elle met à jour à chaque pas. La mémoire n'explose pas sur les contextes longs, et le décodage d'un token coûte à peu près la même chose, que l'historique compte mille tokens ou plusieurs centaines de milliers.

Un petit nombre de couches d'attention subsiste afin de préserver la précision sur les tâches qui exigent une recherche exacte dans le contexte. Il en résulte un compromis : la majeure partie du réseau est peu coûteuse au décodage, une plus petite partie est coûteuse mais irremplaçable.

D'où vient le problème de l'état

L'état de taille fixe a un revers. Un KV-cache peut être tronqué : si le décodage spéculatif a rejeté trois tokens sur cinq, il suffit de supprimer les trois dernières entrées. L'état SSM fonctionne autrement. C'est une compression de tout l'historique en un seul tenseur, et une fois la mise à jour effectuée, on ne peut plus en retirer un token isolé. Un retour en arrière exige donc soit de conserver des copies de l'état à chaque pas, soit de savoir le reconstruire.

D'où les questions que les ingénieurs d'inférence doivent trancher pour le décodage spéculatif, la mise en cache des préfixes et le batching continu. Combien de snapshots de l'état garder en mémoire. À quelle fréquence les réaliser. Combien de trafic entre la HBM et les unités de calcul cela coûte. Le nom ReplaySSM semble indiquer une approche du type « rejouer plutôt que stocker » : ne pas sauvegarder les états intermédiaires, mais les recalculer au besoin. Il s'agit de notre interprétation du nom, et non d'un détail confirmé par le texte de NVIDIA.

Ce que l'on sait de l'annonce

• Classe de modèles : des hybrides où les couches SSM alternent avec un petit nombre de couches d'attention.
• Familles concernées : NVIDIA Nemotron 3, Qwen3.5–Qwen3.8, Kimi-K3, GLM-5.3-Flash.
• Types de couches SSM : Mamba-2, Gated DeltaNet, Kimi Delta Attention.
• Principale propriété du SSM : un état de taille fixe à la place d'un KV-cache croissant.
• Thème annoncé : repenser le stockage de l'état pour accélérer le décodage.
• Métriques d'accélération, matériel et comparaison avec les implémentations de référence : non indiqués dans le fragment dont nous disposons.

Ce que les ingénieurs d'inférence doivent vérifier

La publication sur le blog officiel de NVIDIA est en soi significative : les hybrides ne sont plus une curiosité, ils sont devenus un objet central d'optimisation, et leurs goulots d'étranglement spécifiques reçoivent des solutions dédiées. Si vous déployez Qwen3.5+ ou Nemotron 3 en production, il vaut la peine de relire l'article complet et de répondre à quelques questions.

Première question : comment votre moteur gère-t-il le retour en arrière de l'état lors du décodage spéculatif, et quelle quantité de mémoire consomment les snapshots. Deuxième : le cache de préfixes fonctionne-t-il chez vous pour les couches SSM, ou seulement pour les couches d'attention. Troisième : sur quelles tailles de batch et quelles longueurs de contexte les auteurs mesurent-ils le gain, car pour les hybrides, le résultat dépend fortement de ces paramètres.

Tant que le texte complet et ses mesures n'ont pas été analysés, il faut considérer ReplaySSM comme un signal sur la direction des travaux, et non comme un chiffre prêt à servir au dimensionnement des capacités.