Alibaba DAMO lance RynnUnify : un modèle de 16B qui planifie en vidéo et pilote un robot

Des chercheurs d'Alibaba DAMO Academy ont publié RynnUnify, un modèle unifié de 16 milliards de paramètres pour l'IA incarnée. Une seule architecture regroupe la compréhension de la scène physique, l'ancrage spatial des objets, la génération vidéo et le contrôle de robot. Les chiffres clés : +9,75 points face à Cosmos 3 Nano sur le benchmark de planification visuelle longue Rynn-VP, 51,5% de réussite sur 20 tâches composées de RoboCasa365 et 46,7% en moyenne sur trois tâches avec un vrai robot.

Un seul cerveau à la place de trois modèles assemblés

Une pile robotique se construit généralement par briques. Un VLM décrit la scène, un deuxième modèle du monde prédit la suite, et une troisième politique traduit le tout en mouvements. RynnUnify, bâti sur Cosmos 3, cherche à supprimer les coutures entre ces éléments. Le modèle repose sur une architecture Mixture-of-Transformers : un Reasoner autorégressif gère le raisonnement et la compréhension, tandis qu'un générateur vidéo en rectified flow représente la façon dont le monde changera après l'action.

L'idée centrale s'appelle interleaved visual planning. Le modèle alterne un raisonnement textuel sur une sous-tâche avec une courte prévision vidéo de son résultat, puis s'appuie sur cette prévision pour planifier l'étape suivante. Pour éviter que l'image ne dérive sur de longues séquences, les auteurs ont ajouté trois techniques : une mémoire de la scène entre les fragments vidéo, un entraînement par self-forcing et une durée de chunks adaptative.

Un agent qui décide quand « imaginer » le résultat

Générer de la vidéo coûte cher, et toutes les questions ne l'exigent pas. Les chercheurs ont donc entraîné, au-dessus du modèle de base, une surcouche agentique par apprentissage par renforcement (méthode BCPO). Elle décide elle-même de répondre immédiatement ou de produire d'abord une preuve visuelle. Si elle choisit la seconde voie, l'agent formule une requête de génération, analyse l'issue prédite et retient la branche de raisonnement la plus utile pour la tâche. Cela compte surtout pour les états non observables : ce qui se trouve dans une boîte, ou comment se termine la poussée d'un objet.

Pour évaluer le système, les auteurs ont constitué deux nouveaux benchmarks : Rynn-VP pour la planification visuelle longue et Rynn-GEU pour le raisonnement anticipatif. Sur Rynn-GEU, le mode agentique apporte +6,0 points au résultat moyen par rapport à une réponse directe sans prévision vidéo.

Du pont entre prédiction et action

La troisième partie du système est le World-Action Model (WAM). Il prend RynnUnify dans son intégralité et l'entraîne conjointement sur la vidéo et les actions, ce qui transforme les représentations prédictives du monde en commandes pour le robot. Les expériences ont été menées en simulation et sur du matériel réel.

• Taille du modèle : 16 milliards de paramètres, base Cosmos 3.
• Architecture : Mixture-of-Transformers, Reasoner autorégressif et générateur vidéo en rectified flow.
• Rynn-VP : score global supérieur de 9,75 points à celui de Cosmos 3 Nano.
• Compréhension de scènes incarnées : meilleur score moyen parmi les modèles multimodaux unifiés évalués.
• Rynn-GEU : la surcouche agentique ajoute +6,0 points à la moyenne par rapport au raisonnement direct.
• RoboCasa365 : 51,5% de réussite sur 20 tâches composées sélectionnées.
• Robot réel : 46,7% de réussite moyenne sur trois tâches.
• Nouveaux benchmarks : Rynn-VP et Rynn-GEU.

Ce que les praticiens peuvent en tirer

Cette publication intéressera surtout les équipes qui conçoivent des bras manipulateurs et des robots mobiles, et qui en ont assez d'assembler à la main un VLM, un modèle du monde et une politique. Le code et la page du projet sont ouverts : il est donc possible de vérifier, sur vos propres tâches, dans quelle mesure un « cerveau » commun surpasse des composants séparés. Mais les chiffres restent modestes : 46,7% sur un robot réel signifie que plus de la moitié des tentatives n'atteignent pas l'objectif.

Ce qui reste confirmé, c'est le schéma lui-même, où un seul backbone comprend, imagine et agit. Deux points méritent d'être surveillés : le coût de la génération vidéo à chaque étape de planification, et la transférabilité des résultats à des tâches extérieures à RoboCasa365. Seules des reproductions indépendantes répondront à ces questions.

Pour l'instant, la publication a recueilli 16 votes sur Hugging Face Daily Papers, et le dépôt commence tout juste à récolter des étoiles.