Alibaba DAMO ensina robôs com 30 mil horas de vídeo sem rótulos de ação

O principal problema dos grandes modelos para robôs (VLA, vision-language-action) é a escassez de dados com anotação de ações. Há poucas demonstrações com comandos registrados, e cada robô tem o seu próprio espaço de controle. Pesquisadores da Alibaba DAMO Academy propõem contornar essa limitação. O framework RynnVLA-Latent é pré-treinado com 30,1 mil horas de vídeos de pessoas, robôs e simulações que não trazem comandos de controle nativos. A política final, com 4 bilhões de parâmetros, atinge 98,8% de sucesso no LIBERO e 88,6% no RoboTwin 2.0, benchmark de tarefas com dois braços.

Ações que ninguém registrou

O trabalho se baseia no modelo RynnLAM. Ele analisa pares de quadros e aprende a descrever a transição entre eles como uma ação latente contínua. Os comandos nativos do robô não são necessários para isso, então qualquer vídeo serve, inclusive aqueles em que mãos humanas montam objetos.

Essa abordagem tem um ponto fraco. Se o modelo apenas prever a imagem futura, ele tende a codificar mudanças de aparência: iluminação, fundo, movimento da câmera. Os autores combatem esse problema com três técnicas:

• a predição residual de features futuras (residual future-feature prediction) obriga o modelo a codificar justamente a mudança entre os quadros; • a supervisão por fluxo 3D (3D-flow supervision) com compensação do movimento da câmera ancora a representação no deslocamento real dos objetos no espaço; • o desacoplamento do movimento da câmera (camera-motion decoupling) separa o deslocamento da câmera das ações na cena.

Juntas, essas técnicas geram representações que descrevem o movimento relevante para o controle, e não apenas a mudança de imagem.

De 745 milhões de descritores a uma mão real

O RynnLAM foi aplicado a todo o corpus de 30,1 mil horas e produziu 745,52 milhões de descritores latentes. É com eles que a própria política é treinada. A partir de observações visuais e de uma instrução em linguagem natural, o RynnVLA-Latent prevê blocos de ações latentes (latent-action chunks) pelo método de flow matching.

Em seguida vem o pós-treinamento para um robô específico. O backbone pré-treinado e o módulo especialista de ações (action expert) se adaptam aos comandos de controle nativos de cada plataforma. As metas latentes funcionam como uma linguagem comum entre corpos robóticos diferentes, e as particularidades da mecânica de cada robô entram só no final.

Os autores também avaliaram a qualidade das próprias representações. Eles testaram as representações congeladas com probes, para mostrar que é possível prever o controle a partir delas. Além disso, fizeram ablações das representações e traçaram curvas de escalonamento: a qualidade cresce junto com o volume do pré-treinamento latente.

O que os benchmarks mostraram

O modelo de 4 bilhões de parâmetros obteve os seguintes resultados:

• LIBERO: 98,8% de sucesso; • LIBERO-Plus: 84,7% sem adaptação a esse benchmark; • VLABench: 51,9% na média de cinco trilhas; • RoboTwin 2.0 (tarefas com dois braços): 88,6% na média; • seis tarefas reais de manipulação em plataformas com mão dexterosa e garra móvel: os melhores resultados entre os métodos comparados.

A ressalva é importante: nas tarefas reais, trata-se do melhor resultado entre os métodos que os autores incluíram na comparação. O estudo não traz uma comparação ampla com sistemas industriais fechados.

Lições práticas para a indústria

Hoje, o gargalo da robótica são os dados. A teleoperação é cara, e a compatibilidade de datasets entre robôs continua sendo um problema crônico. O trabalho da DAMO mostra um caminho prático: usar vídeos já acumulados, inclusive de pessoas, como fonte de sinal para o controle.

Para equipes que desenvolvem modelos de manipulação, isso significa algumas coisas. Primeiro, vídeo sem anotação pode virar alvo de treinamento, desde que o movimento da câmera seja removido corretamente. Segundo, um único pré-treinamento pode ser transferido para plataformas diferentes por meio de um pós-treinamento curto. Terceiro, a curva de escalonamento indica que mais vídeo deve render resultados ainda melhores, e o mundo tem muito mais vídeo do que demonstrações anotadas.

É um resultado acadêmico, mas o código já foi publicado no repositório alibaba-damo-academy/RynnVLA-Latent, e a página do projeto está no ar. Grupos independentes também podem verificar os números e aplicar o método em suas próprias plataformas.