Ropedia W0 se entrenó con 10 mil horas de vídeo de personas y 3 mil horas de robots

Ropedia W0 se entrenó con 13 mil horas de datos: 10 mil horas de vídeo egocéntrico de personas y 3 mil horas de grabaciones de robots. Según los autores, es la primera foundation world model que modela de forma conjunta el desplazamiento y la manipulación, tanto en personas como en máquinas de distinta morfología. El modelo obtuvo los mejores resultados en cinco benchmarks cross-embodiment. Tras la destilación, genera predicciones de un minuto en tiempo real, suficiente para trabajar de forma interactiva en VR.

El problema que abordan los investigadores es conocido para quien trabaja en IA corpórea. Una world model debe predecir las consecuencias de las acciones de un agente. Sin embargo, los espacios de acciones de una persona, de un manipulador sobre ruedas y de un humanoide son distintos, y hay pocos datos con anotación multimodal que describan juntos la marcha y el trabajo con las manos. Por lo general, estas tareas se separan: la navegación por un lado y el agarre por otro. Para escenarios largos como «ir hasta la mesa, coger un objeto y trasladarlo», ese enfoque resulta incómodo.

Un lenguaje de movimientos unificado y el corpus Xp-Data

W0 traduce las acciones de cuerpos distintos a una representación cinemática común. El desplazamiento se codifica con poses de cámara y la manipulación, con esqueletos proyectados de manos y cuerpo. En el caso de los robots, los esqueletos se obtienen de la cinemática directa de cada plataforma y se complementan con anotación manual de puntos clave, seguida de una corrección. Es la parte más laboriosa del trabajo, pero es la que alinea los datos de personas y máquinas.

El corpus Xp-Data se ha construido con anotación multimodal unificada y un control de calidad sistemático. Por separado, los autores publican el benchmark Xp-Teleop para tareas largas de loco-manipulation, basado en teleoperación de calidad de humanoides diestros.

Parámetros clave según la descripción del trabajo:

• Xp-Data: 10 mil horas de datos egocéntricos de personas y 3 mil horas de datos de robots;
• representación de acciones: poses de cámara para el movimiento y esqueletos proyectados para la manipulación;
• evaluación en cinco benchmarks: DreamDojo, Ψ_0, ω-HOME, Xp-Teleop y AgiBot, además de vídeo de personas reservado para evaluación (held-out);
• modos de verificación: zero-shot, few-shot y post-training con datos completos;
• tras la destilación: predicciones de un minuto en tiempo real e interacción en VR en vivo.

Las personas como fuente de escala

La conclusión práctica más importante tiene que ver con los datos. Aumentar el volumen de datos humanos en el preentrenamiento mejora las métricas no solo en las evaluaciones con personas, sino también en las de robots. Grabar vídeo de personas en primera persona cuesta varias veces menos que la teleoperación de humanoides. Si la transferencia entre cuerpos funciona a estas escalas, el cuello de botella de la IA corpórea pasa de los costosos datasets de robots a la anotación y al control de calidad.

También conviene fijarse en la combinación con el tiempo real. Las world models grandes suelen ser demasiado lentas para un uso interactivo. Aquí, la versión destilada mantiene escenarios de un minuto sin una degradación que los autores hayan señalado, y permite que una persona en VR observe el mundo predicho o influya en él. Para la evaluación de políticas y la simulación, esa velocidad determina si es posible ejecutar miles de pruebas sin hardware real.

Una salvedad: se trata de un resultado extraído del abstract. La publicación informa de liderazgo en benchmarks, pero no aporta datos sobre la publicación de los pesos ni del código. La afirmación de ser «la primera de su clase» también proviene de los propios autores. Las cifras de cada métrica y de las ablaciones deben comprobarse en el texto completo.

Dónde será útil primero

Los autores muestran tres escenarios de aplicación: evaluación de políticas, planificación basada en el modelo y world-action modeling. Para los equipos que entrenan humanoides, el más tangible es la evaluación de políticas dentro de la world model: permite descartar las variantes débiles antes de probarlas en hardware. Quienes recopilan datos deberían estudiar el propio esquema: la representación cinemática unificada y la corrección manual de los esqueletos de los robots pasan a ser un paso obligatorio si se planea mezclar datos de personas y máquinas. Si Ropedia publica Xp-Teleop, podría convertirse en una prueba útil para tareas largas en las que la marcha y el trabajo con las manos ocurren en un único flujo.