Ropedia W0 é treinada com 10 mil horas de vídeo de humanos e 3 mil horas de robôs

A Ropedia W0 foi treinada com 13 mil horas de dados: 10 mil horas de vídeo egocêntrico de humanos e 3 mil horas de gravações de robôs. Segundo os autores, é o primeiro foundation world model que modela em conjunto locomoção e manipulação para humanos e máquinas de morfologias distintas. O modelo obteve os melhores resultados em cinco benchmarks cross-embodiment e, depois da destilação, faz previsões de minutos em tempo real, o suficiente para uso interativo em VR.

O problema que os pesquisadores atacam é conhecido por quem trabalha com IA incorporada. Um world model precisa prever as consequências das ações do agente. Humanos, manipuladores sobre rodas e humanoides têm espaços de ação diferentes, e há pouca anotação multimodal que descreva caminhada e trabalho com as mãos juntos. Em geral, essas tarefas são separadas: de um lado a navegação, de outro a preensão. Para cenários longos, como «ir até a mesa, pegar um objeto e levá-lo a outro lugar», esse esquema é pouco prático.

Uma linguagem de movimento unificada e o corpus Xp-Data

No W0, as ações de corpos diferentes são convertidas em uma representação cinemática comum. A locomoção é codificada por poses de câmera, e a manipulação, por esqueletos projetados de mãos e corpo. Nos robôs, os esqueletos vêm da cinemática direta de cada plataforma e são complementados por anotação manual de pontos-chave, seguida de correção. É a parte mais trabalhosa, mas é ela que alinha os dados de humanos e de máquinas.

O corpus Xp-Data foi montado com anotação multimodal unificada e controle sistemático de qualidade. Os autores também lançam o benchmark Xp-Teleop, voltado a tarefas longas de loco-manipulation e baseado em teleoperação de alta qualidade de humanoides com destreza.

Principais parâmetros descritos no trabalho:

• Xp-Data: 10 mil horas de dados egocêntricos de humanos e 3 mil horas de dados de robôs;
• representação das ações: poses de câmera para o movimento, esqueletos projetados para a manipulação;
• avaliação em cinco benchmarks: DreamDojo, Ψ_0, ω-HOME, Xp-Teleop e AgiBot, além de vídeo humano reservado (held-out);
• modos de verificação: zero-shot, few-shot e pós-treinamento com os dados completos;
• após a destilação: previsões de minutos em tempo real e interação ao vivo em VR.

Humanos como fonte de escala

A principal conclusão prática diz respeito aos dados. Aumentar o volume de dados humanos no pré-treinamento melhora as métricas não só nas avaliações com humanos, mas também nas com robôs. Coletar vídeo humano em primeira pessoa custa várias vezes menos do que teleoperar humanoides. Se a transferência entre corpos funciona nessas escalas, o gargalo da IA incorporada deixa de ser o dataset caro de robôs e passa a ser a anotação e o controle de qualidade.

A combinação com o tempo real também merece atenção. Grandes world models costumam ser lentos demais para uso interativo. Aqui, a versão destilada sustenta cenários de minutos sem a degradação que os autores tenham relatado, e permite que uma pessoa em VR observe o mundo previsto ou interfira nele. Para avaliação de políticas e simulação, essa velocidade determina se é possível rodar milhares de execuções sem hardware real.

Ressalva: este é um resultado extraído do resumo (abstract). A publicação informa a liderança nos benchmarks, mas não traz informações sobre a liberação de pesos e código. A afirmação de ser a «primeira da categoria» também vem dos próprios autores. Os números de cada métrica e das ablações precisam ser conferidos no texto completo.

Onde isso deve ser útil primeiro

Os autores mostram três cenários de aplicação: avaliação de políticas, planejamento baseado em modelo e world-action modeling. Para equipes que treinam humanoides, o mais tangível deles é a avaliação de políticas dentro do world model: dá para descartar variantes fracas antes de rodá-las no hardware. Quem coleta dados deve olhar para o próprio esquema: a representação cinemática unificada e a correção manual dos esqueletos dos robôs tornam-se etapas obrigatórias se a ideia é misturar dados de humanos e de máquinas. Se a Ropedia publicar o Xp-Teleop, ele pode se tornar um teste útil para tarefas longas em que caminhar e trabalhar com as mãos acontecem num mesmo fluxo.