MambaAct accélère le robot sous π0.5 : un expert 10 fois plus petit, latence −64,8%

Une équipe de chercheurs a présenté MambaAct : un action expert compact fondé sur l'architecture Mamba pour le modèle VLA π0.5. Il est 10 fois plus petit que l'expert transformer d'origine et réduit la latence du débruitage en flow-matching de 64,8% dans le simulateur LIBERO et de 58,8% en déploiement réel. La qualité ne se dégrade pas, elle progresse : le taux de réussite moyen sur LIBERO gagne 1,08 point de pourcentage sur trois seeds de fine-tuning indépendants. Le code et les poids sont publiés en accès libre.

Pourquoi l'action expert est devenu le goulot d'étranglement

Les modèles VLA (vision-language-action) prennent en entrée l'image des caméras et une instruction textuelle, puis produisent une séquence d'actions pour un bras manipulateur. Dans π0.5, deux composants s'en chargent. Un grand encodeur de préfixe vision-langage comprend la scène et la commande. Un action expert distinct génère des actions continues par flow matching : il part du bruit et le « nettoie » en plusieurs itérations jusqu'à obtenir une trajectoire.

Le problème tient au mot « itérations ». L'encodeur ne s'exécute qu'une fois, alors que l'expert est appelé à chaque étape de débruitage, et son transformer refait à chaque fois du cross-attention sur les tokens du préfixe. Pour un robot qui doit réagir au monde en temps réel, ces répétitions se traduisent directement par une perte de vitesse. C'est précisément là que les auteurs de MambaAct cherchent leur gain.

Mamba à la place du transformer, un contexte compressé à la place du

cross-attention

L'article apporte deux changements d'architecture. Premier changement : l'expert transformer cède la place à un expert compact dans lequel Mamba joue le rôle d'action mixer. Il modélise les dépendances au sein de la séquence bruitée d'actions continues. L'encodeur de préfixe préentraîné de π0.5 reste intact : les connaissances en vision et en langage ne sont donc pas perdues.

Second changement : sans cross-attention, il faut un autre moyen d'indiquer à l'expert ce que le robot voit et ce qu'on attend de lui. Les auteurs ajoutent pour cela un Context Compressor léger. Il transforme les tokens du préfixe du VLM en un signal de conditionnement compact, qui gate et module chaque bloc Mamba. Au lieu d'interroger les tokens un à un à chaque étape, l'expert reçoit une représentation déjà compressée du contexte.

Paramètres clés de l'étude :

• base : π0.5 avec un action expert en flow-matching ;
• taille de l'action expert : 10 fois plus petite ;
• réduction de la latence de débruitage : 64,8% sur LIBERO, 58,8% en déploiement réel ;
• gain de réussite moyenne sur LIBERO : +1,08 point de pourcentage sur trois seeds de fine-tuning ;
• vérification sur LIBERO-Plus et sur des tâches réelles : l'avantage se maintient ;
• licence et disponibilité : code et poids publiés sur GitHub.

Vitesse ou qualité : que retenir des chiffres ?

Le gain de 58,8% sur le robot réel est plus convaincant que les 64,8% obtenus en simulation. Un benchmark pardonne beaucoup de choses, tandis qu'un banc physique, avec ses caméras, ses actionneurs et ses latences, montre si le gain atteint vraiment le matériel. L'écart entre les deux chiffres est faible, et c'est bon signe : l'économie ne s'est pas diluée dans l'infrastructure réelle.

La hausse de 1,08 point de pourcentage du taux de réussite est modeste, mais son intérêt est ailleurs. Réduire un expert d'un facteur dix se paie en général par une perte de qualité ; ici, la métrique a progressé. Le fait que le résultat soit confirmé sur trois seeds indépendants réduit le risque qu'il s'agisse d'un pic fortuit. Le maintien de l'avantage sur LIBERO-Plus, où les conditions sont plus difficiles, plaide aussi en faveur de la robustesse de l'approche.

À quoi cela peut servir en pratique

Pour les équipes qui travaillent déjà avec π0.5 ou avec des VLA en flow-matching apparentés, MambaAct se présente comme un point de départ prêt à tester. Il n'y a pas besoin de modifier l'encodeur de préfixe : la substitution ne touche que l'action expert, et comme les poids et le code sont ouverts, on peut comparer les résultats sur ses propres tâches.

Les principaux bénéficiaires seront ceux qui manquent de fréquence de contrôle : manipulateurs mobiles, plateformes dotées d'un calculateur embarqué peu puissant, systèmes où un même GPU partage ses ressources entre perception et planification. Un expert plus petit libère de la mémoire, et la latence de débruitage réduite laisse plus de marge de temps dans la boucle de contrôle.

Il faut toutefois rester prudent. Les résultats ont été obtenus sur LIBERO, sur LIBERO-Plus et dans des scénarios réels précis ; le transfert à d'autres morphologies de robots et à des tâches plus longues devra être vérifié séparément. La direction, elle, est claire : dans les VLA pour la robotique, il ne faut pas optimiser uniquement l'énorme partie linguistique, mais aussi le petit bloc de génération d'actions, appelé de très nombreuses fois.