WorldBridge eleva del 25,07% al 70,70% la tasa de éxito de un robot en RoboTwin 2.0

Los investigadores de WorldBridge han analizado qué ayuda a un robot a ejecutar tareas que no estaban en su entrenamiento y han construido un modelo propio a partir de esa conclusión. En el benchmark de simulación RoboTwin 2.0, la tasa de éxito en tareas nuevas (las llamadas out-of-distribution, es decir, ajenas al conjunto de entrenamiento) era del 25,07% sin datos adicionales. Tras añadir video de esas tareas sin etiquetas de acción, subió al 55,90%, y con una demostración anotada por cada tarea, al 70,70%. Se trata de World Action Models (WAM): modelos que primero predicen cómo cambiará la escena en el video y después convierten esa predicción en comandos para el manipulador.

Qué aportó el video y qué aportaron las acciones

Los autores separaron dos capacidades. La generalización de video es la capacidad de predecir cómo debe desarrollarse una tarea desconocida. La generalización de acciones es la capacidad de traducir esa predicción en movimientos ejecutables. De la traducción se encarga un «puente» del video a la acción que funciona como modelo de dinámica inversa (inverse dynamics model, IDM): a partir del cambio entre fotogramas, reconstruye qué movimiento lo provocó.

Si el modelo se entrena solo con pares «video más acciones» del conjunto original de tareas, resuelve el 25,07% de las tareas nuevas. El video de tareas nuevas sin etiquetas de acción eleva la cifra al 55,90%. Si a ese video se suma una única demostración con acciones por cada tarea nueva, el éxito llega al 70,70%.

Los autores explican el resultado así: el puente entrenado con las tareas originales ya sabe convertir transiciones visuales en movimientos. El video amplía el conjunto de transiciones que el modelo puede predecir, y los pocos ejemplos anotados hacen más preciso el propio puente.

Cómo está construido el modelo

WorldBridge se basa en la arquitectura Mixture-of-Transformers: tiene dos expertos independientes, uno de video y otro de acciones, cada uno con sus propios parámetros. Intercambian información mediante autoatención conjunta y se entrenan con una función de pérdida común de flow matching. Un codificador de texto T5 codifica la instrucción en lenguaje natural, y un VAE de video codifica las observaciones.

Las decisiones clave:

• Máscara de atención estructurada. La información fluye del contexto observado al video futuro y de ahí a las acciones, de modo que la dinámica de escena predicha guía explícitamente el movimiento.
• Memoria visual de dos escalas. La de corto plazo almacena datos sobre el movimiento local; la de largo plazo, sobre el progreso de la tarea.
• Action forcing. Durante el entrenamiento de las acciones se asignan niveles de ruido independientes dentro de cada bloque, y el modelo aprende a predecirlas a partir de un contexto con distintos grados de distorsión.

Datos y resultados

Para el preentrenamiento, los autores montaron un pipeline de datos unificado. Las trayectorias de distintos robots y las demostraciones egocéntricas con manos humanas se llevan a una representación común de acciones de 46 dimensiones. Unas máscaras de validez por dimensión conservan la anotación parcial cuando la fuente carece de parte de las señales de control. Las trayectorias de los robots pasan controles de coherencia cinemática y temporal, mientras que las de las manos se llevan a un único sistema de coordenadas y se filtran según restricciones geométricas y parámetros de movimiento.

Según los autores, WorldBridge obtiene el mejor resultado entre los métodos comparados en varios benchmarks: 96,23% en RoboTwin 2.0 con el conjunto de datos completo, 80,9% en el modo C2R (clean to random, de escenas limpias a aleatorias), 82,8% en RoboCasa GR1 TableTop y 57,6% en DOMINO Level-1. En RMBench, el modelo iguala el mejor resultado de la comparación: 83,0%. Además, se evaluó en SimplerEnv-WidowX y RoboDojo.

El mismo checkpoint preentrenado se ajustó (fine-tuning) para las plataformas reales AgiBot G2 y ARX AC-1. En ellas se probaron secuencias largas de acciones, tareas con memoria, posicionamiento espacial y trabajo con dos brazos.

Las cifras del 25,07%, el 55,90% y el 70,70% se obtuvieron en simulación, y la fórmula «mejor que los análogos» se refiere únicamente a los métodos que los propios autores eligieron para la comparación. Para los equipos que recopilan datos para robots, la conclusión es práctica: conviene reunir primero video de tareas nuevas sin anotar, y destinar el presupuesto limitado de anotación de acciones a una demostración por cada tarea.