Alibaba DAMO выпустила RynnUnify: 16B-модель планирует видео и ведёт робота

Исследователи Alibaba DAMO Academy выложили RynnUnify, унифицированную модель для воплощённого ИИ на 16 млрд параметров. Она сводит в одной архитектуре понимание физической сцены, пространственную привязку объектов, генерацию видео и управление роботом. Главные цифры: +9,75 пункта к Cosmos 3 Nano на бенчмарке длинного визуального планирования Rynn-VP, 51,5% успеха на 20 составных задачах RoboCasa365 и 46,7% в среднем на трёх задачах с настоящим роботом.

Один мозг вместо связки из трёх моделей

Обычно робототехнический стек собирают из частей. Одна VLM описывает сцену, вторая модель мира предсказывает, что будет дальше, третья политика превращает всё это в движения. RynnUnify, построенная на Cosmos 3, пытается убрать швы между ними. Внутри Mixture-of-Transformers: авторегрессионный Reasoner отвечает за рассуждения и понимание, а видеогенератор на rectified flow рисует, как мир изменится после действия.

Ключевая идея называется interleaved visual planning. Модель чередует текстовое рассуждение о подзадаче с коротким видеопрогнозом её результата, а затем использует этот прогноз, чтобы спланировать следующий шаг. Чтобы картинка не расползалась на длинной дистанции, авторы добавили три приёма: память о сцене между видеофрагментами, обучение self-forcing и адаптивную длительность чанков.

Агент, который решает, когда нужно «представить» результат

Генерировать видео дорого, и не каждый вопрос этого требует. Поэтому поверх базовой модели обучили агентную надстройку с помощью обучения с подкреплением (метод BCPO). Она сама решает, отвечать сразу или сначала сгенерировать визуальное свидетельство. Если выбран второй путь, агент формулирует запрос на генерацию, разбирает предсказанный исход и выбирает ветку рассуждений, которая полезнее для задачи. Это особенно важно для ненаблюдаемых состояний: что окажется внутри ящика или чем закончится толчок предмета.

Для проверки авторы собрали два новых бенчмарка: Rynn-VP для длинного визуального планирования и Rynn-GEU для предвосхищающих рассуждений. На Rynn-GEU агентный режим дал +6,0 пункта к среднему результату по сравнению с прямым ответом без видеопрогнозов.

Мост от предсказания к действию

Третья часть системы, World-Action Model (WAM). Она берёт полную RynnUnify и обучает совместно на видео и действиях, превращая предсказательные представления мира в команды для робота. Эксперименты проводили в симуляции и на реальном оборудовании.

• Масштаб модели: 16 млрд параметров, база Cosmos 3.
• Архитектура: Mixture-of-Transformers, авторегрессионный Reasoner и rectified-flow видеогенератор.
• Rynn-VP: общий балл выше Cosmos 3 Nano на 9,75 пункта.
• Понимание воплощённых сцен: самый высокий средний балл среди оценённых унифицированных мультимодальных моделей.
• Rynn-GEU: агентная надстройка даёт +6,0 пункта к среднему против прямого рассуждения.
• RoboCasa365: 51,5% успеха на 20 отобранных составных задачах.
• Реальный робот: 46,7% среднего успеха на трёх задачах.
• Новые бенчмарки: Rynn-VP и Rynn-GEU.

Что с этим делать практикам

Релиз интересен прежде всего командам, которые строят манипуляторы и мобильных роботов и устали склеивать VLM, модель мира и политику вручную. Код и страница проекта открыты, так что можно проверить, насколько общий «мозг» выигрывает у раздельных компонентов на ваших задачах. Но цифры скромные: 46,7% на реальном роботе означает, что больше половины попыток не доходят до цели. Подтверждённой ценностью остаётся сама схема, где один бэкбон и понимает, и воображает, и действует. Следить стоит за двумя вещами: сколько стоит генерация видео на каждом шаге планирования и переносятся ли результаты на задачи вне RoboCasa365. На эти вопросы ответят независимые воспроизведения. Пока публикация набрала 16 голосов в Hugging Face Daily Papers, а репозиторий только начал собирать звёзды.