Mamba-3: uma alternativa aos transformers com complexidade linear

Em 17 de março de 2026, uma equipe de pesquisa da Carnegie Mellon University, da Princeton University, da Cartesia AI e da Together AI publicou um artigo sobre o Mamba-3, nova arquitetura de modelo de espaço de estados (state space model, SSM) projetada principalmente para a eficiência na inferência, e não no treinamento, como era o caso do antecessor Mamba-2. O principal resultado: a variante Mamba-3 SISO supera o Mamba-2, a arquitetura Gated DeltaNet e até o transformer Llama-3.2-1B na latência total das etapas de prefill e decode, em todos os comprimentos de sequência testados, com modelo de 1,5 bilhão de parâmetros.

Principais fatos sobre o lançamento

• Data de publicação: 17 de março de 2026
• Autores: Aakash Lahoti e Kevin Y. Li (Carnegie Mellon University), Berlin Chen e Caitlin Wang (Princeton University), Aviv Bick e J. Zico Kolter (Carnegie Mellon University), Tri Dao (Princeton University, Together AI), Albert Gu (Carnegie Mellon University, Cartesia AI)
• Escala dos testes: modelos de cerca de 1,5 bilhão de parâmetros
• Principais novidades de arquitetura: fórmula de recorrência mais expressiva, rastreamento de estado com valores complexos e uma variante MIMO (multi-input, multi-output)
• Código aberto: os kernels de computação em Triton, TileLang e CuTe DSL estão publicados abertamente

Por que o

Mamba-2 não atende mais às necessidades da indústria?

Desde o lançamento do Mamba-2, em meados de 2024, a maioria das arquiteturas baseadas em SSM migrou do Mamba-1 para ele. Seus desenvolvedores apostaram que a velocidade de treinamento continuava sendo o principal gargalo e simplificaram o mecanismo básico do SSM para obter um treinamento de 2 a 8 vezes mais rápido que o do antecessor. A aposta deu certo, e o Mamba-2 foi amplamente adotado pela indústria.

Mas o cenário dos grandes modelos de linguagem mudou bastante desde então. O pré-treinamento continua importante, mas o pós-treinamento e a implantação ganharam muito mais atenção, e ambos exigem bastante da inferência. Escalar métodos de pós-treinamento, especialmente o aprendizado por reforço com recompensas verificáveis (RLVR) para programação e matemática, exige gerar um número enorme de rollouts, e fluxos de trabalho agênticos, como Codex, Claude Code ou OpenClaw, dispararam a demanda por inferência.

Mesmo assim, muitas arquiteturas lineares, incluindo o Mamba-2, foram projetadas originalmente com prioridade no treinamento: para acelerar o pré-treinamento, o mecanismo básico do SSM foi sendo simplificado. Por exemplo, a transição de estado diagonal foi reduzida a um escalar multiplicado por uma matriz identidade, o que diminuiu a expressividade do modelo em troca de um treinamento mais rápido.

O que o

Mamba-3 muda e por que precisamos de uma arquitetura otimizada para inferência?

O Mamba-3 inverte essa lógica. A equipe trouxe de volta uma fórmula de recorrência mais expressiva e o rastreamento de estado com valores complexos, mecanismos que o Mamba-2 havia simplificado em nome da velocidade de treinamento, e acrescentou uma variante MIMO que aumenta a precisão sem desacelerar a decodificação. O resultado é uma arquitetura com latência de inferência menor que a do Mamba-2, do Gated DeltaNet e até do transformer clássico Llama-3.

2-1B, com a vantagem se mantendo em todos os comprimentos de sequência testados, na escala de 1,5 bilhão de parâmetros. Como as arquiteturas SSM processam uma sequência com complexidade computacional linear, e não quadrática como nos transformers, o ganho do Mamba-3 é mais visível em contextos longos e sob carga alta na etapa de geração, justamente onde hoje se concentra a maior demanda por inferência rápida e barata.

O que isso significa para o setor

A publicação aberta dos kernels de computação em Triton, TileLang e CuTe DSL reduz a barreira de entrada para equipes que querem levar o Mamba-3 para a própria infraestrutura de inferência. A colaboração entre laboratórios acadêmicos (Carnegie Mellon University, Princeton University) e empresas do setor (Together AI, Cartesia AI) reflete uma tendência mais ampla: a pesquisa de ponta em arquitetura chega cada vez mais acompanhada de infraestrutura pronta para uso prático, em vez de ficar apenas como resultado teórico no papel. Para o mercado, é um sinal de que alternativas de complexidade linear aos transformers estão saindo dos experimentos de laboratório e se tornando candidatas reais a arquitetura-base de produtos de nova geração voltados à inferência, de assistentes agênticos a serviços de pós-treinamento em larga escala.