Mamba-3: una alternativa a los transformers con complejidad lineal

El 17 de marzo de 2026, un equipo de investigación de Carnegie Mellon University, Princeton University, Cartesia AI y Together AI publicó un artículo sobre Mamba-3, una nueva arquitectura de modelo de espacio de estados (state space model, SSM) diseñada ante todo para la eficiencia en inferencia y no en entrenamiento, como sí lo estaba su predecesora Mamba-2. El resultado principal: la variante Mamba-3 SISO supera a Mamba-2, a la arquitectura Gated DeltaNet e incluso al transformer Llama-3.2-1B en latencia total de las fases de prefill y decode, en todas las longitudes de secuencia probadas, con un modelo de 1500 millones de parámetros.

Datos clave del lanzamiento

• Fecha de publicación: 17 de marzo de 2026
• Autores: Aakash Lahoti y Kevin Y. Li (Carnegie Mellon University), Berlin Chen y Caitlin Wang (Princeton University), Aviv Bick y J. Zico Kolter (Carnegie Mellon University), Tri Dao (Princeton University, Together AI), Albert Gu (Carnegie Mellon University, Cartesia AI)
• Escala de las pruebas: modelos de alrededor de 1500 millones de parámetros
• Principales novedades de arquitectura: una fórmula de recurrencia más expresiva, seguimiento del estado con valores complejos y una variante MIMO (multi-input, multi-output)
• Código abierto: los kernels de cómputo en Triton, TileLang y CuTe DSL están disponibles públicamente

¿Por qué

Mamba-2 ya no responde a las necesidades de la industria?

Desde el lanzamiento de Mamba-2 a mediados de 2024, la mayoría de las arquitecturas basadas en SSM pasaron de Mamba-1 a ella. Sus desarrolladores apostaron a que la velocidad de entrenamiento seguía siendo el principal cuello de botella y simplificaron el mecanismo SSM básico para lograr un entrenamiento entre 2 y 8 veces más rápido que su predecesora. La apuesta funcionó y Mamba-2 se extendió ampliamente en la industria.

Pero el panorama de los grandes modelos de lenguaje ha cambiado de forma notable desde entonces. El preentrenamiento sigue siendo importante, pero ahora se presta mucha más atención al postentrenamiento y al despliegue, dos procesos muy exigentes en inferencia. Escalar los métodos de postentrenamiento, en especial el aprendizaje por refuerzo con recompensas verificables (RLVR) para programación y matemáticas, exige generar un número enorme de rollouts, y los flujos de trabajo agénticos, como Codex, Claude Code u OpenClaw, han disparado la demanda de inferencia.

Aun así, muchas arquitecturas lineales, Mamba-2 incluida, se diseñaron en origen priorizando el entrenamiento: para acelerar el preentrenamiento, el mecanismo SSM básico se fue simplificando. Por ejemplo, la transición de estado diagonal se redujo a un escalar multiplicado por una matriz identidad, lo que restó expresividad al modelo a cambio de entrenar más rápido.

¿Qué cambia

Mamba-3 y por qué hace falta una arquitectura optimizada para inferencia?

Mamba-3 invierte esta lógica. El equipo recuperó una fórmula de recurrencia más expresiva y el seguimiento del estado con valores complejos, mecanismos que Mamba-2 había simplificado por velocidad de entrenamiento, y añadió una variante MIMO que mejora la precisión sin ralentizar la decodificación. El resultado es una arquitectura con menor latencia de inferencia que Mamba-2, Gated DeltaNet e incluso el transformer clásico Llama-3.

2-1B, con una ventaja que se mantiene en todas las longitudes de secuencia probadas con 1500 millones de parámetros. Como las arquitecturas SSM procesan una secuencia con complejidad computacional lineal, y no cuadrática como los transformers, la ventaja de Mamba-3 se nota sobre todo en contextos largos y con carga alta en la fase de generación, justo donde hoy se concentra la mayor demanda de inferencia rápida y barata.

Qué significa para el sector

La publicación en abierto de los kernels de cómputo en Triton, TileLang y CuTe DSL reduce la barrera de entrada para los equipos que quieran incorporar Mamba-3 a su propia infraestructura de inferencia. La colaboración entre laboratorios académicos (Carnegie Mellon University, Princeton University) y actores de la industria (Together AI, Cartesia AI) refleja una tendencia más amplia: la investigación de vanguardia en arquitecturas llega cada vez más acompañada de infraestructura lista para el despliegue práctico, en lugar de quedarse en un resultado teórico sobre el papel. Para el mercado, es una señal de que las alternativas de complejidad lineal a los transformers pasan de experimentos de laboratorio a candidatas reales como arquitectura base de productos de nueva generación orientados a la inferencia, desde asistentes agénticos hasta servicios de postentrenamiento a gran escala.