NVIDIA presenta ReplaySSM: cómo acelerar la decodificación de los modelos híbridos Mamba y GDN

NVIDIA ha publicado en su Developer Blog un artículo sobre ReplaySSM, un intento de replantear cómo el stack de inferencia almacena el estado de las capas SSM al decodificar modelos híbridos. La lista de arquitecturas da una idea de la dimensión del tema. Nemotron 3, Qwen3.5 hasta Qwen3.8, Kimi-K3 y GLM-5.3-Flash siguen el mismo esquema: varias capas de atención se intercalan con capas de state-space model. El fragmento del artículo al que hemos tenido acceso se interrumpe en la introducción, así que no hay cifras concretas de aceleración y no vamos a inventarlas.

Por qué los híbridos se han convertido en la norma

En estos modelos, la capa SSM adopta una de tres variantes: Mamba-2, Gated DeltaNet (GDN) o Kimi Delta Attention (KDA). Todas comparten la misma idea. Una capa de atención clásica guarda una KV-cache que crece con cada nuevo token de contexto. Una capa SSM, en cambio, mantiene un estado de tamaño fijo y lo actualiza en cada paso. La memoria no se dispara con contextos largos, y decodificar un token cuesta más o menos lo mismo con mil tokens de historial que con cientos de miles.

Se conserva un pequeño número de capas de atención para mantener la precisión en las tareas que exigen una búsqueda exacta en el contexto. El resultado es un compromiso: la mayor parte de la red es barata en decodificación, y una parte menor es cara pero insustituible.

Dónde surge el problema con el estado

El estado fijo tiene su reverso. La KV-cache se puede recortar: si la decodificación especulativa rechaza tres de cinco tokens, basta con descartar las tres últimas entradas. El estado de una SSM funciona de otro modo. Es una compresión de todo el historial en un único tensor, y una vez actualizado no se puede restar un token concreto. Para revertirlo hay que guardar copias del estado en cada paso o saber reconstruirlo.

De ahí surgen las preguntas que los ingenieros de inferencia afrontan en la decodificación especulativa, el almacenamiento en caché de prefijos y el continuous batching. Cuántas instantáneas del estado mantener en memoria. Con qué frecuencia tomarlas. Cuánto tráfico entre la HBM y las unidades de cómputo supone. Por lo que parece, el nombre ReplaySSM apunta a un enfoque de «reproducir en lugar de almacenar»: no guardar los estados intermedios, sino recalcularlos cuando haga falta. Es una interpretación nuestra del nombre, no un detalle confirmado en el texto de NVIDIA.

Qué se sabe del anuncio

• Clase de modelos: híbridos en los que las capas SSM se alternan con pocas capas de atención.
• Familias afectadas: NVIDIA Nemotron 3, Qwen3.5–Qwen3.8, Kimi-K3, GLM-5.3-Flash.
• Tipos de capas SSM: Mamba-2, Gated DeltaNet, Kimi Delta Attention.
• Propiedad principal de las SSM: estado de tamaño fijo en lugar de una KV-cache creciente.
• Tema declarado: replantear el almacenamiento del estado para decodificar más rápido.
• Métricas de aceleración, hardware y comparación con implementaciones de referencia: no se indican en el fragmento disponible.

Qué deben revisar los ingenieros del stack de inferencia

El mero hecho de que NVIDIA lo publique en su blog oficial es relevante: los híbridos han pasado de ser una rareza a ser un objeto central de optimización, y sus cuellos de botella específicos reciben soluciones propias. Si despliega Qwen3.5+ o Nemotron 3 en producción, conviene releer el artículo completo y responder a algunas preguntas.

Primera: cómo gestiona su motor la reversión del estado en la decodificación especulativa y cuánta memoria consumen las instantáneas. Segunda: si el almacenamiento en caché de prefijos funciona para las capas SSM o solo para las capas de atención. Tercera: con qué tamaños de batch y longitudes de contexto miden los autores la mejora, porque en los híbridos el resultado depende mucho de esos parámetros.

Mientras no se analice el texto completo con sus mediciones, ReplaySSM debe leerse como una señal sobre la dirección del trabajo, y no como una cifra lista para planificar capacidad.