Alibaba DAMO lanza RynnUnify: un modelo de 16B que planifica vídeo y controla un robot

Investigadores de Alibaba DAMO Academy han publicado RynnUnify, un modelo unificado de 16 mil millones de parámetros para IA embodied (física). En una sola arquitectura reúne la comprensión de la escena física, el anclaje espacial de objetos, la generación de vídeo y el control de robots. Las cifras principales: +9,75 puntos sobre Cosmos 3 Nano en Rynn-VP, un benchmark de planificación visual de largo alcance; 51,5% de éxito en 20 tareas compuestas de RoboCasa365; y 46,7% de media en tres tareas con un robot real.

Un solo cerebro en lugar de tres modelos encadenados

Lo habitual es montar el stack de robótica por piezas. Una VLM describe la escena, un segundo modelo del mundo predice qué pasará después y una tercera política traduce todo eso en movimientos. RynnUnify, construida sobre Cosmos 3, intenta eliminar las costuras entre ellas. Por dentro es una Mixture-of-Transformers: un Reasoner autorregresivo se encarga del razonamiento y la comprensión, y un generador de vídeo basado en rectified flow muestra cómo cambiará el mundo tras la acción.

La idea clave se llama interleaved visual planning. El modelo alterna un razonamiento textual sobre una subtarea con una breve predicción en vídeo de su resultado, y usa esa predicción para planificar el siguiente paso. Para que la imagen no se degrade a largo plazo, los autores añadieron tres recursos: memoria de la escena entre fragmentos de vídeo, entrenamiento con self-forcing y duración adaptativa de los chunks.

Un agente que decide cuándo «imaginar» el resultado

Generar vídeo es caro y no todas las preguntas lo requieren. Por eso, sobre el modelo base se entrenó una capa agéntica mediante aprendizaje por refuerzo (método BCPO). El propio agente decide si responde de inmediato o si primero genera evidencia visual. Si elige lo segundo, formula la petición de generación, analiza el desenlace predicho y escoge la rama de razonamiento más útil para la tarea. Esto importa sobre todo en estados no observables: qué habrá dentro de una caja o cómo acabará el empujón a un objeto.

Para evaluarlo, los autores crearon dos benchmarks nuevos: Rynn-VP, de planificación visual de largo alcance, y Rynn-GEU, de razonamiento anticipatorio. En Rynn-GEU, el modo agéntico mejoró en +6,0 puntos el resultado medio frente a la respuesta directa sin predicciones en vídeo.

El puente de la predicción a la acción

La tercera parte del sistema es World-Action Model (WAM). Toma la RynnUnify completa y la entrena de forma conjunta con vídeo y acciones, de modo que las representaciones predictivas del mundo se conviertan en comandos para el robot. Los experimentos se realizaron en simulación y con hardware real.

• Escala del modelo: 16 mil millones de parámetros, base Cosmos 3.
• Arquitectura: Mixture-of-Transformers, con un Reasoner autorregresivo y un generador de vídeo rectified-flow.
• Rynn-VP: puntuación global 9,75 puntos por encima de Cosmos 3 Nano.
• Comprensión de escenas embodied: la puntuación media más alta entre los modelos multimodales unificados evaluados.
• Rynn-GEU: la capa agéntica aporta +6,0 puntos de media frente al razonamiento directo.
• RoboCasa365: 51,5% de éxito en 20 tareas compuestas seleccionadas.
• Robot real: 46,7% de éxito medio en tres tareas.
• Nuevos benchmarks: Rynn-VP y Rynn-GEU.

Qué deben hacer los profesionales con esto

La publicación interesa sobre todo a los equipos que desarrollan manipuladores y robots móviles y están cansados de unir a mano una VLM, un modelo del mundo y una política. El código y la página del proyecto son abiertos, así que se puede comprobar hasta qué punto un «cerebro» común supera a los componentes separados en las tareas de cada equipo. Pero las cifras son modestas: un 46,7% en el robot real significa que más de la mitad de los intentos no llega al objetivo.

Lo que sigue confirmado es el esquema en sí, en el que un único backbone comprende, imagina y actúa. Conviene vigilar dos cuestiones: cuánto cuesta generar vídeo en cada paso de planificación y si los resultados se trasladan a tareas ajenas a RoboCasa365. Solo las reproducciones independientes responderán a estas preguntas.

Por ahora, el artículo ha reunido 16 votos en Hugging Face Daily Papers y el repositorio apenas ha empezado a acumular estrellas.