Alibaba DAMO entrena robots con 30 mil horas de vídeo sin etiquetas de acción

El principal problema de los grandes modelos para robots (VLA, vision-language-action) es la escasez de datos con etiquetas de acción. Hay pocas demostraciones con comandos registrados, y cada robot tiene su propio espacio de control. Los investigadores de Alibaba DAMO Academy proponen sortear esta limitación. El framework RynnVLA-Latent se preentrena con 30,1 mil horas de vídeo de personas, robots y simulaciones que no incluyen comandos de control nativos. La política final, de 4000 millones de parámetros, logra 98,8% de éxito en LIBERO y 88,6% en RoboTwin 2.0, un benchmark bimanual.

Acciones que nadie registró

El trabajo se basa en el modelo RynnLAM. Este analiza pares de fotogramas y aprende a describir la transición entre ellos como una acción latente continua. No necesita los comandos nativos del robot, así que sirve cualquier vídeo, incluidos clips en los que manos humanas ensamblan objetos.

Este enfoque tiene un punto débil. Si el modelo se limita a predecir la imagen futura, tiende a codificar cambios de apariencia: la luz, el fondo, el movimiento de la cámara. Los autores lo combaten con tres técnicas:

• la predicción residual de rasgos futuros (residual future-feature prediction) obliga al modelo a codificar justo el cambio entre fotogramas; • la supervisión de flujo 3D (3D-flow supervision) con compensación del movimiento de cámara ancla la representación al desplazamiento real de los objetos en el espacio; • el desacoplamiento del movimiento de cámara (camera-motion decoupling) separa el desplazamiento de la cámara de las acciones en la escena.

En conjunto, obtienen representaciones que describen el movimiento relevante para el control y no solo un cambio de imagen.

De 745 millones de descriptores a una mano real

RynnLAM se aplicó a todo el corpus de 30,1 mil horas y produjo 745,52 millones de descriptores latentes. Con ellos se entrena la política propiamente dicha. A partir de observaciones visuales y una instrucción en lenguaje natural, RynnVLA-Latent predice bloques de acciones latentes (latent-action chunks) mediante flow matching.

La siguiente fase es el posentrenamiento para un robot concreto. El backbone preentrenado y el módulo experto de acciones (action expert) se adaptan a los comandos de control nativos de cada plataforma. Los objetivos latentes funcionan como lenguaje común entre cuerpos distintos, y las particularidades de cada mecánica se añaden al final.

Los autores también evaluaron la calidad de las propias representaciones. Probaron las representaciones congeladas con sondas (probing) para demostrar que permiten predecir el control. Además, realizaron ablaciones de las representaciones y trazaron curvas de escalado: la calidad crece con el volumen de preentrenamiento latente.

Qué muestran los benchmarks

El modelo de 4000 millones de parámetros obtuvo estos resultados:

• LIBERO: 98,8% de éxito; • LIBERO-Plus: 84,7% sin adaptación a este benchmark; • VLABench: 51,9% de media en cinco pistas; • RoboTwin 2.0 (tareas bimanuales): 88,6% de media; • seis tareas reales de manipulación en plataformas con mano diestra y manipulador móvil: los mejores resultados entre los métodos comparados.

Conviene matizar: en las tareas reales, se trata del mejor resultado entre los métodos que los autores incluyeron en la comparación. El trabajo no incluye una comparación amplia con sistemas industriales cerrados.

Lectura práctica para la industria

Hoy el cuello de botella de la robótica son los datos. La teleoperación es cara, y la compatibilidad de los datasets entre robots sigue siendo un problema crónico. El trabajo de DAMO muestra una vía práctica: usar el vídeo acumulado, incluido el de personas, como fuente de señal para el control.

Para los equipos que construyen modelos de manipulación, esto implica varias cosas. Primero, el vídeo sin etiquetas puede convertirse en objetivos de entrenamiento si se elimina correctamente el movimiento de cámara. Segundo, un único preentrenamiento se transfiere a distintas plataformas mediante un posentrenamiento corto. Tercero, la curva de escalado indica que más vídeo dará aún mejores resultados, y en el mundo hay mucho más vídeo que demostraciones etiquetadas.

Es un resultado académico, pero el código ya está publicado en el repositorio alibaba-damo-academy/RynnVLA-Latent y la página del proyecto está abierta. Grupos independientes también podrán verificar las cifras y aplicar el método en sus propias plataformas.