WorldBridge eleva a taxa de sucesso de tarefas do robô de 25,07% para 70,70% no RoboTwin 2.0

Os pesquisadores do WorldBridge investigaram o que ajuda um robô a executar tarefas que não estavam em seu treinamento e construíram um modelo próprio a partir dessa conclusão. No benchmark de simulação RoboTwin 2.0, a taxa de sucesso em tarefas novas (as chamadas out-of-distribution, ou seja, fora do conjunto de treinamento) era de 25,07% sem dados adicionais. Com a inclusão de vídeos dessas tarefas sem rótulos de ação, ela subiu para 55,90%, e com uma demonstração anotada por tarefa chegou a 70,70%. O trabalho trata de World Action Models (WAM), modelos que primeiro preveem como a cena vai mudar no vídeo e depois transformam essa previsão em comandos para o manipulador.

O que o vídeo trouxe e o que as ações trouxeram

Os autores separaram duas habilidades. A generalização de vídeo é a capacidade de prever como uma tarefa desconhecida deve se desenrolar. A generalização de ações é a capacidade de converter essa previsão em movimentos executáveis. A conversão fica a cargo de uma "ponte" entre vídeo e ação, que funciona como um modelo de dinâmica inversa (inverse dynamics model, IDM): a partir da mudança entre quadros, ela reconstrói qual movimento levou a ela.

Quando o modelo é treinado apenas com pares "vídeo mais ações" do conjunto original de tarefas, ele acerta 25,07% das tarefas novas. Os vídeos de tarefas novas sem rótulos de ação elevam o índice para 55,90%. Se a eles se soma apenas uma demonstração com ações para cada tarefa nova, o sucesso chega a 70,70%.

Os autores explicam o resultado assim: a ponte treinada nas tarefas originais já sabe converter transições visuais em movimentos. O vídeo amplia o conjunto de transições que o modelo consegue prever, e os poucos exemplos anotados tornam a própria ponte mais precisa.

Como o modelo é construído

O WorldBridge usa a arquitetura Mixture-of-Transformers: há dois especialistas separados, um de vídeo e outro de ações, cada um com seus próprios parâmetros. Eles trocam informações por meio de autoatenção conjunta e são treinados com uma função de perda comum, a flow matching. A instrução em linguagem natural é codificada pelo codificador de texto T5, e as observações, por um VAE de vídeo.

Principais decisões de projeto:

• Máscara de atenção estruturada. A informação flui do contexto observado para o vídeo futuro e, a partir dele, para as ações. Assim, a dinâmica prevista da cena controla o movimento de forma explícita.
• Memória visual em duas escalas. A de curto prazo guarda dados sobre o movimento local, e a de longo prazo, sobre o andamento da tarefa.
• Action forcing. No treinamento, as ações dentro de um bloco recebem níveis de ruído independentes, e o modelo aprende a prevê-las a partir de um contexto com diferentes graus de distorção.

Dados e resultados

Para o pré-treinamento, os autores montaram um pipeline de dados unificado. Trajetórias de diversos robôs e demonstrações egocêntricas com mãos humanas são convertidas para uma representação comum de ações com 46 dimensões. Máscaras de validade por dimensão preservam a anotação parcial quando a fonte não tem parte dos sinais de controle. As trajetórias dos robôs passam por verificações de consistência cinemática e temporal, e as trajetórias das mãos são levadas a um sistema de coordenadas único e filtradas por restrições geométricas e parâmetros de movimento.

Segundo os autores, entre os métodos comparados o WorldBridge tem o melhor resultado em vários benchmarks: 96,23% no RoboTwin 2.0 com o conjunto de dados completo, 80,9% no modo C2R (clean to random, de cenas limpas para aleatórias), 82,8% no RoboCasa GR1 TableTop e 57,6% no DOMINO Level-1. No RMBench, o modelo iguala o melhor resultado da comparação: 83,0%. A avaliação também incluiu SimplerEnv-WidowX e RoboDojo.

O mesmo checkpoint pré-treinado passou por ajuste fino para as plataformas reais AgiBot G2 e ARX AC-1. Nelas, foram testadas sequências longas de ações, tarefas com memória, posicionamento espacial e trabalho com as duas mãos.

Os números 25,07%, 55,90% e 70,70% foram obtidos em simulação, e a formulação "melhor que os concorrentes" vale apenas para os métodos que os próprios autores escolheram para a comparação. Para equipes que coletam dados para robôs, a conclusão é prática: vale priorizar a coleta de vídeos de tarefas novas sem anotação, e um orçamento limitado de anotação de ações rende mais se for gasto em uma demonstração para cada tarefa.