Modelo WorldBridge eleva a taxa de sucesso em tarefas novas de 25,07% para 70,70% no RoboTwin 2.0

Pesquisadores apresentaram o WorldBridge, um World Action Model (WAM): modelo que prevê como a cena vai evoluir em vídeo e traduz essa previsão em comandos para o robô. A pergunta central do trabalho é o que ajuda mais um robô a lidar com tarefas que não apareceram no treinamento: mais vídeo ou mais ações rotuladas. No RoboTwin 2.

0, simulador de tarefas para robôs de dois braços, a taxa de sucesso nessas tarefas novas subiu de 25,07%, com treinamento apenas em dados conhecidos, para 55,90% após a adição de vídeos dessas tarefas, e para 70,70% após a adição de apenas uma demonstração com ações por tarefa. Além disso, o modelo obteve os melhores resultados entre os métodos comparados em vários testes de manipulação.

O que o vídeo traz e o que as ações trazem

O experimento foi montado em três regimes de treinamento. No primeiro, o modelo viu apenas pares "vídeo + ações" de tarefas do conjunto de treinamento original. Em tarefas novas (out-of-distribution, ou seja, fora da distribuição de treinamento), chegou a 25,07% de sucesso: um resultado diferente de zero, mas fraco.

No segundo regime, o treinamento passou a incluir vídeos de tarefas novas, mas sem rótulos de ação; a anotação de ações continuou existindo só para as tarefas originais. O sucesso subiu para 55,90%. Na avaliação dos autores, o modelo usa a capacidade de dinâmica inversa (inverse dynamics) que já aprendeu: a partir da mudança na cena, ele reconstrói a ação que levou a ela e aplica essa habilidade ao novo vídeo.

No terceiro regime, aos mesmos vídeos foi acrescentada uma demonstração com ações para cada tarefa nova. O sucesso chegou a 70,70%. Os autores descrevem uma divisão de papéis: o vídeo amplia o conjunto de tarefas que o modelo consegue "imaginar", e até um número pequeno de ações rotuladas fortalece a ponte entre imagem e controle. A conclusão é consistente com os trabalhos DreamZero e Zero-WAM, nos quais priors de vídeo já foram usados para executar tarefas desconhecidas e transferir habilidades a partir de vídeo sem ações.

Como o WorldBridge é construído

A arquitetura é um Mixture-of-Transformers com dois especialistas separados: um para vídeo e outro para ações. Cada um tem seus próprios parâmetros, redes feed-forward e decodificador, e os dois trocam informações por meio de um self-attention compartilhado. O especialista em vídeo recebe ainda a instrução em texto via cross-attention. O contexto é codificado por um VAE de vídeo e pelo codificador de texto T5, e o treinamento segue um objetivo comum de flow matching, com níveis de ruído independentes para vídeo e ações.

Entre as características do modelo:

• Máscara de atenção estruturada. A informação flui do contexto observado para as representações de vídeo futuras e, depois, para as ações; assim, a dinâmica prevista da cena condiciona explicitamente o controle.
• Memória visual em duas escalas. A de curto prazo guarda o movimento local; a de longo prazo guarda o andamento da tarefa.
• Action forcing. Dentro de um mesmo bloco de ações, elementos diferentes recebem níveis de ruído independentes durante o treinamento, e o especialista em ações aprende a se apoiar em contexto temporal com graus variados de distorção.

O trabalho descreve ainda um pipeline de dados unificado. Trajetórias de robôs e demonstrações egocêntricas de mãos humanas são convertidas para uma representação de ação comum, de 46 dimensões. Máscaras de validade por dimensão preservam a anotação parcial para plataformas com interfaces de controle diferentes. Os dados dos robôs passam por verificações de cinemática e de consistência temporal, e as trajetórias das mãos são padronizadas em um sistema de coordenadas comum e filtradas por restrições geométricas e de movimento.

Resultados e limitações

Entre os métodos comparados, o WorldBridge tem os melhores resultados: sucesso médio de 96,23% no RoboTwin 2.0 em modo completo, 80,9% no modo clean-to-random, 82,8% no RoboCasa GR1 TableTop e 57,6% no DOMINO Level-1. No RMBench, o modelo empatou com o melhor resultado da comparação dos autores, 83,0%. A avaliação incluiu também SimplerEnv-WidowX e RoboDojo. Em robôs reais, AgiBot G2 e ARX AC-1, o mesmo checkpoint pré-treinado em conjunto foi ajustado para cada plataforma; os testes cobriram longas cadeias de ações, tarefas com memória, posicionamento espacial e coordenação entre as duas mãos.

Há ressalvas a considerar. Os principais números de transferência vêm de um benchmark em simulação, e a liderança é declarada "entre os métodos comparados", ou seja, dentro da seleção feita pelos próprios autores. Para quem trabalha na prática, a conclusão principal é esta: vídeo barato e sem anotação pode render a maior parte do ganho na transferência para tarefas novas, e algumas demonstrações rotuladas devem ser adicionadas de forma pontual, para consolidar o resultado.