El modelo WorldBridge eleva el éxito en tareas nuevas del 25,07% al 70,70% en RoboTwin 2.0

Un equipo de investigadores ha presentado WorldBridge, un World Action Model (WAM): un modelo que predice cómo evolucionará una escena en video y traduce esa predicción en comandos para un robot. La pregunta central del trabajo es qué ayuda más a un robot a resolver tareas que no estaban en su entrenamiento: más video o más acciones etiquetadas. En RoboTwin 2.

0 (un simulador de tareas para robots de dos brazos), la tasa de éxito en esas tareas nuevas pasó del 25,07% con entrenamiento solo con datos conocidos al 55,90% tras añadir video de esas tareas, y al 70,70% tras añadir una única demostración con acciones por cada tarea. Además, el propio modelo obtuvo los mejores resultados entre los métodos comparados en varias pruebas de manipulación.

Qué aporta el video y qué aportan las acciones

El experimento se articuló en tres modos de entrenamiento. En el primero, el modelo solo vio pares «video + acciones» de las tareas del conjunto de entrenamiento original. En las tareas nuevas (out-of-distribution, es decir, fuera de la distribución de entrenamiento) logró un 25,07% de éxito: un resultado distinto de cero, pero débil.

En el segundo modo se añadió al entrenamiento video de las tareas nuevas, pero sin etiquetas de acciones; las acciones etiquetadas siguieron existiendo solo para las tareas originales. El éxito subió al 55,90%. Según los autores, el modelo aprovecha una capacidad de dinámica inversa (inverse dynamics) ya aprendida: a partir del cambio en la escena reconstruye la acción que lo provocó y aplica esa habilidad al video nuevo.

En el tercer modo se añadió, a esos mismos videos, una demostración con acciones por cada tarea nueva. El éxito subió al 70,70%. Los autores describen un reparto de funciones: el video amplía el conjunto de tareas que el modelo sabe «imaginar», y hasta un número pequeño de acciones etiquetadas refuerza el puente entre la imagen y el control. La conclusión concuerda con DreamZero y Zero-WAM, trabajos en los que ya se emplearon priors de video para ejecutar tareas desconocidas y transferir habilidades a partir de video sin acciones.

Cómo funciona WorldBridge

La arquitectura es un Mixture-of-Transformers con dos expertos independientes: uno para video y otro para acciones. Cada uno tiene sus propios parámetros, redes feed-forward y decodificador, y se intercambian información mediante un self-attention común. El experto de video recibe además la instrucción de texto a través de cross-attention. El contexto lo codifican un VAE de video y el codificador de texto T5, y el entrenamiento sigue un objetivo común de flow matching con niveles de ruido independientes para el video y las acciones.

Entre las características del modelo figuran:

• Máscara de atención estructurada. La información fluye desde el contexto observado hacia las representaciones de video futuras y, después, hacia las acciones, de modo que la dinámica predicha de la escena condiciona explícitamente el control.
• Memoria visual a dos escalas. La de corto plazo guarda el movimiento local; la de largo plazo, el progreso de la tarea.
• Action forcing. Dentro de un mismo bloque de acciones, durante el entrenamiento se asignan niveles de ruido independientes a distintos elementos, y el experto de acciones aprende a apoyarse en un contexto temporal con distintos grados de distorsión.

Por separado, se describe un pipeline de datos unificado. Las trayectorias de robots y las demostraciones egocéntricas de manos humanas se convierten a una representación de acciones común de 46 dimensiones. Las máscaras de validez por dimensión conservan el etiquetado parcial en plataformas con interfaces de control distintas. Los datos de robots pasan comprobaciones de cinemática y de coherencia temporal, mientras que las trayectorias de manos se estandarizan en un sistema de coordenadas común y se filtran según restricciones geométricas y de movimiento.

Resultados y limitaciones

Entre los métodos comparados, WorldBridge obtiene los mejores resultados: un éxito medio del 96,23% en RoboTwin 2.0 en modo completo, un 80,9% en el modo clean-to-random, un 82,8% en RoboCasa GR1 TableTop y un 57,6% en DOMINO Level-1. En RMBench, el modelo igualó el mejor resultado de la comparación de los autores: 83,0%. También se evaluó en SimplerEnv-WidowX y RoboDojo. En los robots reales AgiBot G2 y ARX AC-1, el mismo checkpoint preentrenado de forma conjunta se ajustó para cada plataforma; las pruebas abarcaron cadenas largas de acciones, tareas con memoria, posicionamiento espacial y coordinación bimanual.

Conviene tener en cuenta algunas salvedades. Las cifras clave sobre transferencia proceden de un benchmark en simulación, y el liderazgo se declara «entre los métodos comparados», es decir, dentro de la selección de los propios autores. Para los profesionales, la conclusión principal es esta: el video barato y sin etiquetar puede aportar la mayor parte de la mejora al transferir a tareas nuevas, y conviene añadir unas pocas demostraciones etiquetadas de forma selectiva para consolidar el resultado.