MambaAct acelera robô baseado no π0.5: especialista 10 vezes menor e latência 64,8% mais baixa

Uma equipe de pesquisadores apresentou o MambaAct: um action expert compacto, baseado na arquitetura Mamba, para o modelo VLA π0.5. Ele é 10 vezes menor que o especialista original em transformer e reduz a latência do denoising do flow-matching em 64,8% no simulador LIBERO e em 58,8% na implantação real. A qualidade não caiu; ao contrário, subiu: a taxa média de sucesso no LIBERO avançou 1,08 ponto percentual, considerando três seeds independentes de fine-tuning. Código e pesos foram liberados em acesso aberto.

Por que o action expert virou o gargalo

Modelos VLA (vision-language-action) recebem imagens de câmeras e uma instrução em texto e devolvem uma sequência de ações para um manipulador. No π0.5, duas partes cuidam disso. Um grande encoder de prefixo visão-linguagem entende a cena e o comando. Um action expert separado gera ações contínuas pelo método de flow matching: ele parte de ruído e, em algumas iterações, o "limpa" até chegar a uma trajetória.

O problema está na palavra "iterações". O encoder roda uma única vez, mas o expert é chamado a cada passo do denoising, e dentro dele o transformer faz cross-attention com os tokens do prefixo repetidas vezes. Para um robô que precisa reagir ao mundo em tempo real, essas repetições significam perda direta de velocidade. É nesse ponto que os autores do MambaAct buscam ganho.

Mamba no lugar do transformer e contexto comprimido no lugar do cross-attention

São duas mudanças de arquitetura. A primeira: o expert em transformer foi substituído por um compacto, em que o Mamba atua como action mixer. Ele modela as dependências dentro da sequência ruidosa de ações contínuas. O encoder de prefixo pré-treinado do π0.5 permanece intocado, então o conhecimento de visão e linguagem é preservado.

A segunda: sem cross-attention, é preciso dar um jeito de informar ao expert o que o robô vê e o que se espera dele. Para isso, foi adicionado um Context Compressor leve. Ele converte os tokens de prefixo do VLM em um sinal compacto de condicionamento, que aplica gating e modula cada bloco Mamba. Em vez de consultar os tokens um a um a cada passo, o expert recebe uma representação do contexto já comprimida.

Principais parâmetros do trabalho:

• base: π0.5 com action expert de flow-matching;
• tamanho do action expert: 10 vezes menor;
• redução da latência de denoising: 64,8% no LIBERO, 58,8% na implantação real;
• ganho na taxa média de sucesso no LIBERO: +1,08 p.p., considerando três seeds de fine-tuning;
• validação no LIBERO-Plus e em tarefas reais: a vantagem se mantém;
• licença e disponibilidade: código e pesos publicados no GitHub.

O que pesa mais nos números: velocidade ou qualidade

O ganho de 58,8% no robô real é mais convincente do que os 64,8% da simulação. O benchmark perdoa muita coisa, enquanto uma bancada física, com câmeras, atuadores e atrasos, mostra se o ganho chega ao hardware. A diferença entre os dois números é pequena, e isso é um bom sinal: a economia não se dissolveu na infraestrutura real.

O ganho de 1,08 p.p. na taxa de sucesso é modesto, mas seu valor está em outro ponto. Comprimir o expert em dez vezes costuma ser pago com perda de qualidade, e aqui a métrica subiu. O fato de o resultado ter sido confirmado por três seeds independentes reduz o risco de ser apenas um pico casual. A manutenção da vantagem no LIBERO-Plus, onde as condições são mais difíceis, soma um argumento a favor da robustez da abordagem.

Onde isso é útil na prática

Para equipes que já trabalham com o π0.5 ou com VLAs de flow-matching semelhantes, o MambaAct parece um ponto de partida pronto para experimentos. Não é preciso trocar o encoder de prefixo: a substituição afeta apenas o action expert, e, como pesos e código estão abertos, dá para comparar os resultados nas próprias tarefas.

Quem mais deve ganhar são os que sofrem com falta de frequência de controle: manipuladores móveis, plataformas com computador de bordo fraco e sistemas em que a mesma GPU divide recursos entre percepção e planejamento. Um expert menor libera memória, e a latência de denoising reduzida dá mais folga de tempo no ciclo de controle.

Também é preciso cautela. Os resultados vêm do LIBERO, do LIBERO-Plus e de cenários reais específicos, e a transferência para outras morfologias de robô e para tarefas mais longas terá de ser testada à parte. Mas a direção está clara: em VLAs para robótica, vale otimizar não só a gigantesca parte de linguagem, mas também o bloco pequeno, porém chamado muitas vezes, que gera as ações.