HumanoidPose estima la postura de un humanoide a partir de vídeo y reduce el error de ángulos entre un 18 y un 32 %

Un grupo de investigadores ha presentado HumanoidPose, un modelo que, a partir de un vídeo corriente, reconstruye la configuración completa de las articulaciones de un robot humanoide en coordenadas mundiales. En tres plataformas humanoides reales, reduce el error en los ángulos articulares entre un 18 y un 32 % respecto al mejor método de referencia para cada plataforma. La mayor parte de los datos de entrenamiento es sintética: los movimientos humanos se transfirieron a 16 diseños de humanoides distintos.

Visión en lugar de sensores

Los autores describen la tarea como «visión como propiocepción». Normalmente, un robot conoce la posición de sus articulaciones gracias a sensores integrados. Pero cuando interactúa con una máquina ajena, esos datos suelen no estar disponibles: lo impiden la privacidad, las cuestiones de propiedad o las limitaciones del canal de comunicación. Hay un segundo problema. Los vídeos con robots que circulan por la red y los clips generados por IA se cuentan por volúmenes enormes, pero no incluyen los ángulos de las articulaciones. Con esas grabaciones no se puede entrenar robots de forma directa.

HumanoidPose resuelve ambos problemas: solo necesita la secuencia de vídeo y devuelve la postura de todo el cuerpo.

Cómo está construido el modelo

La base es la combinación de dos fuentes. Unas características preentrenadas para estimar la postura humana se integran con la cinemática del robot en un único modelo, que predice la configuración de las articulaciones para cada diseño concreto. Para reunir los datos de entrenamiento, los autores reorientaron (retargeting) movimientos humanos a 16 humanoides. El etiquetado se obtiene así de forma automática, porque los ángulos articulares se conocen por construcción.

Los datos sintéticos suelen transferirse mal a imágenes reales. Por eso el equipo añadió autoaprendizaje: usa vídeos en línea sin etiquetar para crear un detector 2D de la postura del robot. Este detector sirve precisamente para dar robustez en grabaciones reales, donde la iluminación, los ángulos de cámara y el fondo no se parecen a los de la simulación.

Qué muestran las mediciones

• La precisión en ángulos y en posición de las articulaciones es mayor que la de todos los métodos de referencia comparados.
• El error en los ángulos articulares es entre un 18 y un 32 % menor que el del mejor método de referencia en cada una de las tres plataformas humanoides reales.
• Mejora la localización global, es decir, la posición del robot en coordenadas mundiales.
• El modelo generaliza mejor a diseños que no estaban en el entrenamiento.

También se ven limitaciones. La descripción no aclara si el sistema funciona en tiempo real, hasta qué punto resiste las oclusiones ni qué plataformas concretas entraron en la prueba. Las cifras se obtuvieron frente a un conjunto de métodos de referencia elegido por los propios autores, y por ahora no hay verificación independiente.

Dónde puede resultar útil

Primer escenario: un robot necesita entender qué hace otra máquina a su lado, pero no tiene acceso a su telemetría. Basta una cámara para estimar la postura de un compañero o de un competidor en el espacio de trabajo.

El segundo escenario es más importante para los desarrolladores. Si es posible obtener los ángulos articulares a partir de vídeo, los clips en línea y las generaciones de los modelos de vídeo se convierten en una fuente de trayectorias para entrenar políticas. La costosa recogida de datos en hardware real podría sustituirse en parte por archivos de vídeo, siempre que la calidad de la estimación de postura supere la prueba en sus propias plataformas. Para los equipos que trabajan con humanoides, conviene vigilar si los autores publican el código y los pesos: de ello depende que HumanoidPose se convierta en una herramienta o se quede en un artículo.