MambaAct acelera un robot con π0.5: un experto 10 veces menor y una latencia 64,8% más baja

Un equipo de investigadores ha presentado MambaAct, un action expert compacto basado en la arquitectura Mamba para el modelo VLA π0.5. Es 10 veces menor que el experto transformer original y reduce la latencia del denoising en flow matching un 64,8% en el simulador LIBERO y un 58,8% en un despliegue real. La calidad no solo no empeora, sino que mejora: el éxito medio en LIBERO aumenta 1,08 puntos porcentuales en tres semillas independientes de ajuste fino. El código y los pesos se han publicado en abierto.

Por qué el cuello de botella es el action expert

Los modelos VLA (vision-language-action) reciben la imagen de las cámaras y una instrucción de texto, y devuelven una secuencia de acciones para un manipulador. En π0.5 intervienen dos partes. Un gran codificador de prefijo visual-lingüístico entiende la escena y la orden. Un action expert independiente genera acciones continuas mediante flow matching: parte de ruido y lo «limpia» en varias iteraciones hasta obtener una trayectoria.

El problema está en la palabra «iteraciones». El codificador se ejecuta una sola vez, pero el experto se invoca en cada paso del denoising, y dentro de él el transformer vuelve a aplicar cross-attention a los tokens del prefijo una y otra vez. Para un robot que debe reaccionar al entorno en tiempo real, esas repeticiones suponen una pérdida directa de velocidad. Ahí es donde los autores de MambaAct buscan la ganancia.

Mamba en lugar de transformer y contexto comprimido en lugar de cross-attention

Los cambios de arquitectura son dos. El primero: el experto transformer se sustituye por uno compacto en el que Mamba actúa como action mixer. Modela las dependencias dentro de la secuencia ruidosa de acciones continuas. El codificador de prefijo preentrenado de π0.5 queda intacto, de modo que el conocimiento de visión y lenguaje se conserva.

El segundo: sin cross-attention, hay que decirle de algún modo al experto qué ve el robot y qué se le pide. Para ello se añade un Context Compressor ligero. Convierte los tokens del prefijo del VLM en una señal de condicionamiento compacta, que actúa como compuerta (gating) y modula cada bloque Mamba. En lugar de consultar los tokens uno a uno en cada paso, el experto recibe una representación del contexto ya comprimida.

Parámetros clave del trabajo:

• base: π0.5 con action expert de flow matching;
• tamaño del action expert: 10 veces menor;
• reducción de la latencia del denoising: 64,8% en LIBERO, 58,8% en despliegue real;
• mejora del éxito medio en LIBERO: +1,08 p. p. en tres semillas de ajuste fino;
• evaluación en LIBERO-Plus y en tareas reales: la ventaja se mantiene;
• licencia y disponibilidad: código y pesos publicados en GitHub.

Qué pesa más en las cifras: velocidad o calidad

La aceleración del 58,8% en el robot real resulta más convincente que el 64,8% de la simulación. Un benchmark perdona mucho, mientras que una instalación física con cámaras, actuadores y retardos muestra si la mejora llega realmente al hardware. La diferencia entre ambas cifras es pequeña, y es buena señal: el ahorro no se diluyó en la infraestructura real.

La mejora de 1,08 p. p. en el éxito es modesta, pero su valor está en otro lado. Comprimir un experto diez veces suele pagarse con pérdida de calidad, y aquí la métrica ha subido. Que el resultado esté confirmado en tres semillas independientes reduce el riesgo de que sea un pico casual. Que la ventaja se mantenga en LIBERO-Plus, donde las condiciones son más difíciles, añade un argumento a favor de la robustez del enfoque.

Dónde resulta útil en la práctica

Para los equipos que ya trabajan con π0.5 o con VLA afines basados en flow matching, MambaAct parece un punto de partida listo para experimentar. No hace falta cambiar el codificador de prefijo: la sustitución afecta solo al action expert, y como los pesos y el código son abiertos, se puede comparar el resultado en tareas propias.

Se beneficiarán sobre todo quienes necesitan más frecuencia de control: manipuladores móviles, plataformas con un computador embarcado poco potente y sistemas en los que una misma GPU reparte recursos entre percepción y planificación. Un experto menor libera memoria, y la menor latencia del denoising deja más margen de tiempo en cada ciclo de control.

También conviene ser prudente. Los resultados proceden de LIBERO, LIBERO-Plus y de escenarios reales concretos, y habrá que comprobar por separado su transferencia a otras morfologías de robot y a tareas más largas. Pero la dirección está clara: en los VLA para robótica, optimizar no solo merece la pena en la gigantesca parte lingüística, sino también en el bloque pequeño, pero invocado muchas veces, que genera las acciones.