Mamba-3: alternativa aos transformers com complexidade linear

Em 17 de março de 2026, um grupo de pesquisa da Carnegie Mellon University, Princeton University, Cartesia AI e Together AI publicou um artigo sobre uma nova arquitetura Mamba-3 — um modelo de espaço de estados (SSM), projetado principalmente para eficiência de inferência, não de treinamento, diferentemente de seu antecessor Mamba-2. O resultado principal: a variante Mamba-3 SISO supera Mamba-2, a arquitetura Gated DeltaNet e até o transformador Llama-3.2-1B em latência total nos estágios prefill e decode em todos os comprimentos de sequência em uma escala de modelo de 1.5 bilhões de parâmetros.

Fatos-chave sobre o lançamento

• Data de publicação — 17 de março de 2026
• Autores — Aakash Lahoti e Kevin Y. Li (Carnegie Mellon University), Berlin Chen e Caitlin Wang (Princeton University), Aviv Bick e J. Zico Kolter (Carnegie Mellon University), Tri Dao (Princeton University, Together AI), Albert Gu (Carnegie Mellon University, Cartesia AI)
• Escala de testes — modelos no nível de 1.5 bilhões de parâmetros
• Inovações arquitetônicas principais — fórmula de recorrência mais expressiva, rastreamento de estado com valor complexo e variante MIMO (multi-entrada, multi-saída)
• Código aberto — kernels computacionais em Triton, TileLang e CuTe DSL publicados em acesso aberto

Por que Mamba-2 já não atende às necessidades da indústria?

Desde o lançamento do Mamba-2 em meados de 2024, a maioria das arquiteturas baseadas em SSM mudou para ela a partir do Mamba-1: os desenvolvedores apostaram que o principal gargalo permanecia na velocidade de treinamento e simplificaram o mecanismo SSM básico para 2–8 vezes a aceleração de treinamento em comparação com seu antecessor — essa aposta valeu a pena e garantiu adoção generalizada de Mamba-2 na indústria. Mas desde então, o panorama dos grandes modelos de linguagem mudou notavelmente: embora o pré-treinamento continue importante, muito mais atenção tem sido dedicada ao pós-treinamento e implantação — ambos os processos extremamente exigentes de inferência. O dimensionamento de métodos de pós-treinamento, especialmente aprendizado por reforço em recompensas verificáveis (RLVR) para tarefas de codificação e matemática, requer geração de enormes números de rollouts, e fluxos de trabalho de agentes — como Codex, Claude Code ou OpenClaw — aumentaram drasticamente a demanda de inferência.

Apesar disso, muitas arquiteturas lineares, incluindo Mamba-2, foram originalmente desenvolvidas com prioridade em treinamento: para acelerar o pré-treinamento, o mecanismo SSM básico foi progressivamente simplificado — por exemplo, a transição de estado foi reduzida a um escalar multiplicado por uma matriz de identidade, reduzindo a expressividade do modelo pela velocidade de treinamento.

O que

Mamba-3 muda e por que uma arquitetura otimizada para inferência importa?

Mamba-3 inverte essa lógica: a equipe restaurou para o modelo uma fórmula de recorrência mais expressiva e rastreamento de estado com valor complexo — mecanismos que Mamba-2 simplificou pela velocidade de treinamento — e também adicionou uma variante MIMO que aumenta a precisão sem desacelerar a decodificação. O resultado — uma arquitetura com latência de inferência menor que Mamba-2, Gated DeltaNet e até o transformador clássico Llama-3.2-1B, com a vantagem mantida em todos os comprimentos de sequência testados em uma escala de 1.

5 bilhões de parâmetros. Como as arquiteturas SSM processam sequências com complexidade computacional linear em vez de quadrática como em transformadores, a vantagem de Mamba-3 é particularmente notável em contextos longos e sob alta carga no estágio de geração — exatamente onde hoje a principal demanda da indústria por inferência rápida e barata está concentrada.

O que isso significa para a indústria

A publicação aberta de kernels computacionais em Triton, TileLang e CuTe DSL reduz a barreira de entrada para equipes que desejam implementar Mamba-3 em sua própria infraestrutura de inferência, e colaboração entre laboratórios acadêmicos (Carnegie Mellon University, Princeton University) e atores industriais (Together AI, Cartesia AI) reflete uma tendência mais ampla: pesquisa arquitetônica de ponta é cada vez mais acompanhada imediatamente por infraestrutura pronta para implantação prática, em vez de permanecer apenas um resultado teórico em papel. Para o mercado, isso sinaliza que alternativas aos transformadores com complexidade computacional linear estão fazendo a transição da categoria de experimentos de laboratório para a categoria de candidatos reais para o papel de arquitetura base para produtos orientados a inferência da próxima geração — desde assistentes de agentes até serviços de pós-treinamento em larga escala.