SkeLAM enseñó a un robot a repetir movimientos humanos tras entrenarse con 10 horas de datos

Unas 10 horas de registros de un robot y una sola demostración con una mano humana. Eso fue suficiente para que investigadores del Instituto de Tecnología de Harbin (campus de Shenzhen) desarrollaran SkeLAM, un modelo que transfiere el movimiento de una persona a un brazo robótico sin reentrenamiento. El sistema se basa en el modelo de video preentrenado Cosmos-Predict2.5-2B, y se entrenó con aproximadamente 10 horas de datos de robots.

Humano a la entrada, brazo robótico a la salida

El experimento es sencillo. El modelo se entrenó con datos en los que un brazo robótico interactúa con objetos. En la prueba, los fotogramas del robot se sustituyeron por una demostración humana: en la escena se mueve una mano real. El video generado muestra un brazo mecánico cuyo movimiento corresponde al gesto humano. La dirección del desplazamiento coincide con la demostración.

Un detalle clave es cómo se logró esto. Los parámetros del modelo permanecen completamente congelados durante la transferencia; no hubo reentrenamiento para las demostraciones humanas. Este régimen se denomina zero-shot: el modelo se enfrenta a datos de otra naturaleza y los procesa con los mismos pesos que obtuvo a partir de datos de robots.

Por qué la transferencia entre cuerpos sigue siendo un cuello de botella

La robótica arrastra un viejo problema de escasez de datos. Los registros de teleoperación son costosos: requieren un operador, equipo y tiempo. Grabar video de una persona moviendo las manos es mucho más sencillo, y en internet hay una cantidad enorme de ese material. Pero la mano humana y la pinza del manipulador difieren en geometría, grados de libertad y apariencia. Un modelo entrenado en una «forma corporal» suele interpretar mal otra. En la literatura, esta tarea se conoce como transferencia entre encarnaciones (cross-embodiment).

SkeLAM demuestra que, con un volumen reducido de datos de robots, es posible tender un puente entre ambas formas. Diez horas es un conjunto de datos modesto según los estándares de la industria. Parte de la capacidad la aporta el gran modelo de video, que ya cuenta con una representación de la física de la escena, los objetos y la dinámica de los movimientos.

Parámetros del experimento

• Autores: Instituto de Tecnología de Harbin, campus de Shenzhen
• Nombre del modelo: SkeLAM
• Modelo base: Cosmos-Predict2.5-2B, modelo de video preentrenado con alrededor de 2.000 millones de parámetros
• Datos de entrenamiento: en total, aproximadamente 10 horas de datos de interacción del robot
• Escenario de verificación: transferencia de mano humana a brazo robótico
• Entrada en la verificación: video de demostración humana en lugar de fotogramas de robot
• Resultado: el brazo mecánico en el video generado se mueve en la dirección correspondiente a la demostración
• Régimen de transferencia: todos los parámetros congelados, sin reentrenamiento con estas demostraciones

Qué queda por comprobar

La generación de video y el control de un manipulador real se sitúan en etapas distintas. Un clip en el que el brazo se mueve en la dirección correcta todavía no garantiza que el robot físico ejecute el agarre, el giro o el posicionamiento preciso. La coincidencia en la dirección del movimiento valida la base, pero no la motricidad fina. El trabajo futuro probablemente avanzará hacia la conversión de las trayectorias generadas en comandos para robots reales y pruebas en distintas plataformas.

Para quienes construyen robots, la conclusión práctica es la siguiente. Si verificaciones posteriores confirman el resultado, será posible recopilar una parte significativa de los datos de entrenamiento no en el robot, sino en personas con una cámara común. Esto reduce el costo de los conjuntos de datos y acelera las iteraciones. Los modelos de video de la clase Cosmos están dejando de ser simples generadores de clips para convertirse en la base de políticas de control. Vale la pena seguir cómo el equipo traslade el resultado a plataformas físicas y qué métricas de éxito de tareas presente fuera de los videos de demostración.