Alibaba DAMO entrena robots con 30.000 horas de video sin etiquetas de acción

El principal problema de los grandes modelos para robots (VLA, vision-language-action) es la falta de datos con etiquetas de acción. Las demostraciones con comandos registrados son escasas, y cada robot tiene su propio espacio de control. Los investigadores de Alibaba DAMO Academy proponen una forma de eludir esta limitación. El framework RynnVLA-Latent se preentrena con 30.100 horas de video de humanos, robots y simulaciones, sin comandos de control nativos. La política final, de 4.000 millones de parámetros, alcanza un 98,8% de éxito en LIBERO y un 88,6% en el benchmark bimanual RoboTwin 2.0.

Acciones que nadie registró

La base del trabajo es el modelo RynnLAM. Este observa pares de fotogramas y aprende a describir la transición entre ellos como una acción latente continua. No necesita comandos nativos del robot, por lo que puede usarse con cualquier video, incluidos los que muestran manos humanas manipulando objetos.

Este enfoque tiene un punto débil: si el modelo simplemente predice el fotograma futuro, tiende a codificar cambios de apariencia —iluminación, fondo, movimiento de cámara— en lugar de la acción real. Los autores contrarrestan esto con tres técnicas:

• la predicción de características residuales futuras (residual future-feature prediction) obliga al modelo a codificar el cambio entre fotogramas, no los fotogramas en sí; • la supervisión de flujo 3D con compensación del movimiento de cámara ancla la representación al desplazamiento real de los objetos en el espacio; • el desacople del movimiento de cámara (camera-motion decoupling) separa el movimiento de la cámara de las acciones que ocurren en la escena.

Juntas, estas técnicas producen representaciones que describen el movimiento relevante para el control, y no solo el cambio de la imagen.

De 745 millones de tokens a una mano robótica real

El equipo aplicó RynnLAM a todo el corpus de 30.100 horas y obtuvo 745,52 millones de tokens latentes. Con ellos se entrena la propia política. A partir de observaciones visuales e instrucciones en lenguaje natural, RynnVLA-Latent predice bloques de acciones latentes (latent-action chunks) mediante flow matching.

Después llega el postentrenamiento específico para cada robot. El backbone preentrenado y el módulo experto de acciones (action expert) se adaptan a los comandos de control nativos de una plataforma concreta. Los objetivos latentes funcionan como un lenguaje común entre distintos cuerpos robóticos, mientras que la mecánica específica se añade al final.

Los autores también evaluaron la calidad de las propias representaciones. Probaron representaciones congeladas para demostrar que permiten predecir el control, realizaron pruebas de ablación y construyeron curvas de escalado: la calidad mejora conforme aumenta el volumen de preentrenamiento latente.

Qué mostraron los benchmarks

El modelo de 4.000 millones de parámetros obtuvo estos resultados:

• LIBERO — 98,8% de éxito; • LIBERO-Plus — 84,7% sin adaptación específica a este benchmark; • VLABench — 51,9% de media en cinco pistas; • RoboTwin 2.0 (tareas bimanuales) — 88,6% de media; • seis tareas reales de manipulación en plataformas con mano diestra y agarre móvil — los mejores resultados entre los métodos comparados.

Una aclaración importante: en las tareas reales se trata del mejor resultado entre los métodos que los autores incluyeron en la comparación. El estudio no ofrece una comparación amplia con sistemas industriales cerrados.

Una conclusión práctica para la industria

El cuello de botella de la robótica actual son los datos. La teleoperación es cara y la compatibilidad de conjuntos de datos entre robots sigue siendo un problema crónico. El trabajo de DAMO muestra un camino práctico: usar el video acumulado, incluido el de humanos, como fuente de señal para el control.

Para los equipos que construyen modelos de manipulación, esto implica varias cosas. Primero, el video sin etiquetar puede convertirse en objetivos de entrenamiento si se elimina correctamente el movimiento de cámara. Segundo, un solo preentrenamiento se transfiere a distintas plataformas mediante un postentrenamiento breve. Tercero, la curva de escalado indica que más video seguirá mejorando los resultados, y en el mundo hay muchísimo más video que demostraciones etiquetadas.

Es un resultado académico, pero el código ya está publicado en el repositorio alibaba-damo-academy/RynnVLA-Latent, y la página del proyecto está disponible. Otros equipos independientes podrán verificar las cifras y aplicar el método en sus propias plataformas.