Alibaba DAMO treina robôs com 30 mil horas de vídeo sem rótulos de ação

O maior problema dos grandes modelos para robôs (VLA, vision-language-action) é a falta de dados com rótulos de ação. Demonstrações com comandos registrados são escassas, e cada robô tem seu próprio espaço de controle. Pesquisadores da Alibaba DAMO Academy propõem uma forma de contornar essa limitação. O framework RynnVLA-Latent é pré-treinado com 30,1 mil horas de vídeo de humanos, robôs e simulações, sem comandos de controle nativos. A política final, com 4 bilhões de parâmetros, atinge uma taxa de sucesso de 98,8% no LIBERO e 88,6% no benchmark bimanual RoboTwin 2.0.

Ações que ninguém registrou

A base do trabalho é o modelo RynnLAM. Ele observa pares de quadros e aprende a descrever a transição entre eles como uma ação latente contínua. Como não depende de comandos nativos do robô, o método funciona com qualquer vídeo, incluindo cenas de mãos humanas manipulando objetos.

Essa abordagem tem um ponto fraco: se o modelo apenas prevê o quadro futuro, ele tende a acabar codificando mudanças de aparência — iluminação, fundo, movimento de câmera — em vez da ação real. Os autores combatem isso com três técnicas:

• a previsão de características residuais futuras (residual future-feature prediction) força o modelo a codificar a mudança entre os quadros, não os quadros em si; • a supervisão de fluxo 3D com compensação do movimento de câmera ancora a representação ao deslocamento real dos objetos no espaço; • o desacoplamento do movimento de câmera (camera-motion decoupling) separa o movimento da câmera das ações que ocorrem na cena.

Juntas, essas técnicas geram representações que descrevem o movimento relevante para o controle, e não apenas a mudança da imagem.

De 745 milhões de tokens a um braço robótico real

A equipe aplicou o RynnLAM a todo o corpus de 30,1 mil horas e obteve 745,52 milhões de tokens latentes. É sobre eles que a própria política é treinada. A partir de observações visuais e instruções em linguagem natural, o RynnVLA-Latent prevê blocos de ações latentes (latent-action chunks) usando flow matching.

Depois vem o pós-treinamento específico para cada robô. O backbone pré-treinado e o módulo especialista em ações (action expert) são adaptados aos comandos de controle nativos de uma plataforma específica. Os alvos latentes funcionam como uma linguagem comum entre diferentes corpos robóticos, enquanto a mecânica específica é adicionada no final.

Os autores também avaliaram a qualidade das próprias representações. Testaram representações congeladas para mostrar que elas permitem prever o controle, realizaram ablações e construíram curvas de escalonamento: a qualidade melhora conforme aumenta o volume de pré-treinamento latente.

O que os benchmarks mostraram

O modelo de 4 bilhões de parâmetros obteve os seguintes resultados:

• LIBERO — 98,8% de sucesso; • LIBERO-Plus — 84,7% sem adaptação específica para este benchmark; • VLABench — 51,9% de média em cinco trilhas; • RoboTwin 2.0 (tarefas bimanuais) — 88,6% de média; • seis tarefas reais de manipulação em plataformas com mão destra e garra móvel — os melhores resultados entre os métodos comparados.

Uma ressalva importante: nas tarefas reais, trata-se do melhor resultado entre os métodos que os autores incluíram na comparação. O estudo não traz uma comparação ampla com sistemas industriais fechados.

Uma conclusão prática para a indústria

O gargalo da robótica hoje são os dados. A teleoperação é cara, e a compatibilidade de conjuntos de dados entre robôs continua sendo um problema crônico. O trabalho da DAMO aponta um caminho prático: usar o vídeo acumulado, inclusive o de humanos, como fonte de sinal para o controle.

Para equipes que constroem modelos de manipulação, isso tem várias implicações. Primeiro, vídeo sem rótulo pode se transformar em alvos de treinamento se o movimento de câmera for removido corretamente. Segundo, um único pré-treinamento se transfere para diferentes plataformas por meio de um pós-treinamento breve. Terceiro, a curva de escalonamento indica que mais vídeo continuará melhorando os resultados — e há muito mais vídeo no mundo do que demonstrações rotuladas.

É um resultado acadêmico, mas o código já foi publicado no repositório alibaba-damo-academy/RynnVLA-Latent, e a página do projeto está disponível. Equipes independentes poderão verificar os números e aplicar o método em suas próprias plataformas.