NVIDIA apresenta o ReplaySSM: como acelerar o decoding de modelos híbridos com Mamba e GDN

A NVIDIA publicou no Developer Blog um material sobre o ReplaySSM: uma tentativa de repensar como a stack de inferência armazena o estado das camadas SSM durante o decoding de modelos híbridos. A lista de arquiteturas mostra a dimensão do tema. Nemotron 3, Qwen3.5 até Qwen3.8, Kimi-K3 e GLM-5.3-Flash seguem o mesmo desenho: algumas camadas de atenção são intercaladas com camadas de state-space model. O trecho do artigo a que tivemos acesso termina ainda na introdução; por isso, não há números de aceleração aqui, e não vamos inventá-los.

Por que os híbridos viraram regra

Nesses modelos, a camada SSM assume três formas: Mamba-2, Gated DeltaNet (GDN) e Kimi Delta Attention (KDA). A ideia é a mesma em todas. A camada de atenção clássica guarda um KV-cache, que cresce a cada novo token de contexto. A camada SSM, em vez disso, mantém um estado de tamanho fixo e o atualiza a cada passo. A memória não incha em contextos longos, e decodificar um token custa aproximadamente o mesmo, seja com mil tokens de histórico ou com centenas de milhares.

Um pequeno número de camadas de atenção permanece para preservar a precisão em tarefas que exigem busca exata no contexto. O resultado é um compromisso: a maior parte da rede é barata no decoding, e a menor parte é cara, mas insubstituível.

Onde surge o problema com o estado

O estado fixo tem um lado ruim. O KV-cache pode ser truncado: se o decoding especulativo rejeitou três de cinco tokens, basta descartar as três últimas entradas. O estado da SSM funciona de outra forma. Ele comprime todo o histórico em um único tensor, e, depois da atualização, não é possível subtrair dele um token individual. O rollback exige guardar uma cópia do estado a cada passo ou conseguir reconstruí-lo.

Daí vêm as perguntas que os engenheiros de inferência enfrentam em decoding especulativo, cache de prefixos e continuous batching. Quantos snapshots do estado manter na memória. Com que frequência criá-los. Quanto tráfego entre a HBM e as unidades de computação isso custa. Pelo nome, o ReplaySSM parece apontar para uma abordagem de "reproduzir em vez de armazenar": não guardar os estados intermediários, mas recalculá-los quando necessário. Essa é uma interpretação nossa do nome, não um detalhe confirmado no texto da NVIDIA.

O que se sabe do anúncio

• Classe de modelos: híbridos em que camadas SSM se alternam com poucas camadas de atenção.
• Famílias citadas: NVIDIA Nemotron 3, Qwen3.5–Qwen3.8, Kimi-K3, GLM-5.3-Flash.
• Tipos de camada SSM: Mamba-2, Gated DeltaNet, Kimi Delta Attention.
• Principal característica da SSM: estado de tamanho fixo em vez de um KV-cache crescente.
• Tema declarado: repensar o armazenamento do estado para acelerar o decoding.
• Métricas de aceleração, hardware e comparação com implementações de referência: não informados no trecho disponível.

O que os engenheiros da stack de inferência devem verificar

O simples fato de a publicação estar no blog oficial da NVIDIA é relevante: os híbridos deixaram de ser exotismo e viraram o principal alvo de otimização, e seus gargalos específicos passam a ter soluções próprias. Se você roda Qwen3.5+ ou Nemotron 3 em produção, vale reler o artigo completo e responder a algumas perguntas.

Primeira: como o seu engine lida com o rollback do estado no decoding especulativo, e quanta memória vai para os snapshots. Segunda: o cache de prefixos funciona no seu setup para as camadas SSM ou só para as camadas de atenção. Terceira: em quais tamanhos de batch e comprimentos de contexto os autores medem o ganho, porque, nos híbridos, o resultado depende muito desses parâmetros.

Enquanto o texto completo, com as medições, não for analisado, o ReplaySSM deve ser lido como um sinal da direção do trabalho, e não como um número pronto para o planejamento de capacidade.