SkeLAM enseña a un robot a repetir los movimientos de una persona con solo 10 horas de datos de entrenamiento

Unas 10 horas de grabaciones de un robot y una demostración con una mano humana. Eso bastó a los investigadores del Instituto Tecnológico de Harbin (campus de Shenzhen) para obtener SkeLAM, un modelo que transfiere el movimiento de una persona a un manipulador sin ajuste fino. El sistema se apoya en el modelo de vídeo preentrenado Cosmos-Predict2.5-2B, que se entrenó con aproximadamente 10 horas de datos de robots.

Una persona como entrada, un manipulador como salida

El experimento es sencillo. El modelo se entrenó con datos en los que una mano robótica interactúa con objetos. En la prueba, los fotogramas del robot se sustituyeron por una demostración humana: en la imagen se mueve una mano real. El vídeo generado muestra una mano mecánica cuyo movimiento corresponde al gesto de la persona. La dirección del desplazamiento coincide con la de la demostración.

Hay un detalle importante sobre cómo se hace. Durante la transferencia, los parámetros del modelo están completamente congelados y no se ajustó nada para las demostraciones humanas. Este régimen se conoce como zero-shot: el modelo se encuentra con datos de otra naturaleza y los resuelve con los pesos que obtuvo con los datos de robots.

Por qué la transferencia entre cuerpos sigue siendo un cuello de botella

La robótica arrastra desde hace tiempo un problema de escasez de datos. Las grabaciones de teleoperación son caras: requieren un operador, equipo y tiempo. Los vídeos en los que una persona mueve las manos son mucho más fáciles de grabar, y en internet hay una cantidad enorme. Pero la mano humana y la pinza de un manipulador difieren en geometría, en grados de libertad y en aspecto. Un modelo entrenado con una «forma de cuerpo» suele interpretar mal otra. En la literatura, este problema se conoce como transferencia cross-embodiment.

SkeLAM muestra que, con un volumen pequeño de datos de robots, es posible tender un puente entre dos formas corporales. Diez horas es un conjunto de datos modesto para los estándares de la industria. Parte de las capacidades corre a cargo del gran modelo de vídeo, que ya tiene una representación de la física de la escena, de los objetos y de la dinámica del movimiento.

Parámetros del experimento

• Autores: Instituto Tecnológico de Harbin, campus de Shenzhen
• Nombre del modelo: SkeLAM
• Modelo base: Cosmos-Predict2.5-2B, modelo de vídeo preentrenado con unos 2.000 millones de parámetros
• Datos de entrenamiento: en total, unas 10 horas de datos de interacción de un robot
• Escenario de evaluación: transferencia de una mano humana a una mano robótica
• Entrada en la evaluación: demostración en vídeo de una persona en lugar de fotogramas del robot
• Resultado: la mano mecánica del vídeo generado se mueve en una dirección que corresponde a la demostración
• Régimen de transferencia: todos los parámetros congelados, sin ajuste fino con esas demostraciones

Qué queda por comprobar

Generar vídeo y controlar un manipulador real son escalones distintos. Un clip en el que la mano se mueve en la dirección correcta no garantiza todavía que un robot físico vaya a ejecutar un agarre, un giro o un posicionamiento preciso. Que la dirección del movimiento coincida valida lo básico, pero no la motricidad fina. Lo más probable es que el trabajo futuro se encamine a convertir las trayectorias generadas en comandos para robots reales y a probarlas en distintas plataformas.

Para quienes construyen robots, la conclusión práctica es la siguiente. Si las pruebas posteriores confirman el resultado, buena parte de los datos de entrenamiento podría recopilarse con personas y una cámara corriente, en lugar de con el robot. Eso reduce el coste de los conjuntos de datos y acelera las iteraciones. Los modelos de vídeo de la clase Cosmos dejan de ser meros generadores de clips y pasan a servir como base para políticas de control. Conviene seguir cómo traslada el equipo el resultado a plataformas físicas y qué métricas de éxito en tareas presenta fuera de los vídeos de demostración.