Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураКод / SDK · В работуThe Decoder→ оригинал

Runway открыла Praxis-1: видеомодель управляет роботом и решает 46,2% задач в тесте Nvidia

Runway открыла код и веса Praxis-1 — модели, которая по кадрам камеры и команде вроде «положи банан на тарелку» рассчитывает движения робота. В симуляции Nvidia RoboLab-120 (120 задач: сортировать, хватать, складывать) она решила 46,2% против 42,9% у FLUX 3 Action, а на реальной руке Franka — 88 попыток из 100 против 80. Замеры сделала сама Runway, поэтому перед внедрением прогоните модель на своих задачах.

AI-обработка оригинала The Decoder; редакция Hamidun News
Runway открыла Praxis-1: видеомодель управляет роботом и решает 46,2% задач в тесте Nvidia
Источник: The Decoder. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Decoder ↗
Главный редактор
Ключевой факт #1Лицензия Apache 2.0 разрешает коммерческое использование
Ключевой факт #2Базовой версии нужна GPU на 80 ГБ, сжатой — RTX 5090 на 32 ГБ
Ключевой факт #3Путает похожие предметы и не планирует длинные цепочки шагов

Роботов трудно учить по простой причине: чтобы манипулятор аккуратно взял банан или закрыл ящик, нужны сотни часов дорогих записей, где человек вручную управляет машиной. Runway, известная видеогенераторами вроде Gen-4.5, зашла с другой стороны и выложила в открытый доступ Praxis-1. Это модель, которая по кадрам камеры и текстовой команде рассчитывает движения робота, а свои знания о физическом мире берёт из обучения на видео. В тесте Nvidia RoboLab-120 (120 симулированных задач на сортировку, хватание и укладку предметов) она справилась с 46,2% заданий, а ближайший аналог FLUX 3 Action — с 42,9%. Веса и код доступны под лицензией Apache 2.0, которая разрешает коммерческое использование.

Как видеомодель стала контроллером

Praxis-1 получает на вход кадры с камеры, текстовую инструкцию («положи банан на тарелку») и данные о положении самого робота. По ним модель предсказывает, как изменится сцена, и на основе этого прогноза вычисляет нужные движения. Когда приходят новые кадры, управление корректируется на лету.

Логика понятна на человеческом примере. Вы видели тысячи роликов, где предметы падают, катятся и сталкиваются, поэтому примерно представляете, что будет, если толкнуть кружку. Praxis-1 сначала учили на обычных видео, чтобы она усвоила, как объекты двигаются и взаимодействуют. Потом Runway дообучила её на видео с действиями людей и на данных роботов. Такой класс систем компания называет World Action Model: сначала прогноз сцены, затем действие.

Runway надеется, что подход снизит зависимость от специально собранных роботных датасетов. Впрочем, специальные данные всё равно нужны: для руки Franka использовали около 277 часов записей из публичного набора DROID, а для двурукого робота — от 1400 до 2600 часов. Выиграла ли модель по объёму роботных данных у аналогов без видеопредобучения, пока неизвестно: прямого сравнения нет.

Что показали тесты

В рейтинге Nvidia RoboLab-120 Praxis-1 набрала 46,2% успеха, то есть чуть меньше половины задач выполнена до конца. У FLUX 3 Action, тоже построенной как World Action Model, результат 42,9%. Это лучший показатель в своей категории, но в общем зачёте модель только пятая: впереди два ИИ-агента и две роботные модели с другой архитектурой.

На реальной руке Franka после дообучения на DROID сравнили те же две модели на десяти задачах, включая «положить банан на тарелку» и «закрыть ящик». При десяти попытках на задачу Praxis-1 справилась 88 раз из 100, FLUX 3 Action — 80.

Отдельно проверили перенос на незнакомого робота: мобильную платформу с манипулятором, на которой Google когда-то развивала RT-1. Её записей в предыдущем обучении Praxis-1 не было. После дообучения примерно на 95 часах данных модель показала в симуляции средний успех 80% на четырёх типах задач — от хватания банок с газировкой до укладывания яблока в ящик. Оригинальная RT-1 на том же тесте набрала 52,4%. Важная оговорка: все тесты Runway провела сама, независимой проверки нет.

С конца сентября модель тестировали компании Standard Bots, Noble Machines и Ultra — на гуманоиде, промышленной руке и двурукой складской машине.

Ограничения и что делать разработчикам

Базовая модель сама по себе новым роботам не подходит: её нужно дообучать. Для популярных платформ уже есть готовые адаптированные версии. Скачать можно с Hugging Face после регистрации и согласия с условиями доступа, код лежит на GitHub.

Требования серьёзные: стандартной версии нужна видеокарта на 80 ГБ памяти. Сжатая версия, по оценкам Runway, поместится в RTX 5090 на 32 ГБ, но реальный пик потребления памяти в документации на GitHub пока не измеряли.

Слабые места компания не скрывает. Модель иногда путает похожие предметы и плохо справляется с расплывчатыми командами. Длинные задачи придётся разбивать на шаги вручную, потому что сама сложные последовательности действий она надёжно планировать не умеет. Runway видит в Praxis-1 прежде всего быстрый исполнитель движений, который в будущем можно связать с универсальной языковой моделью: та будет раскладывать задачу на шаги, а Praxis-1 — выполнять.

Практический вывод: если вы строите робототехнический стек или исследуете манипуляторы, у вас появилась открытая, коммерчески пригодная база, которую можно сравнить с другими моделями для управления роботами. Но пока все цифры — заявления самой Runway, поэтому прогоните модель на собственных задачах и своём железе, прежде чем рассчитывать на заявленные проценты.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как видеомодель стала контроллером?

Praxis-1 получает на вход кадры с камеры, текстовую инструкцию («положи банан на тарелку») и данные о положении самого робота. По ним модель предсказывает, как изменится сцена, и на основе этого прогноза вычисляет нужные движения. Когда приходят новые кадры, управление корректируется на лету. Логика понятна на человеческом примере. Вы видели тысячи роликов, где предметы падают, катятся и сталкиваются, поэтому примерно представляете, что будет, если толкнуть кружку.

Что известно по теме: что показали тесты?

В рейтинге Nvidia RoboLab-120 Praxis-1 набрала 46,2% успеха, то есть чуть меньше половины задач выполнена до конца. У FLUX 3 Action, тоже построенной как World Action Model, результат 42,9%. Это лучший показатель в своей категории, но в общем зачёте модель только пятая: впереди два ИИ-агента и две роботные модели с другой архитектурой. На реальной руке Franka после дообучения на DROID сравнили те же две модели на десяти задачах, включая «положить банан на тарелку» и «закрыть ящик».

Что известно по теме: ограничения и что делать разработчикам?

Базовая модель сама по себе новым роботам не подходит: её нужно дообучать. Для популярных платформ уже есть готовые адаптированные версии. Скачать можно с Hugging Face после регистрации и согласия с условиями доступа, код лежит на GitHub. Требования серьёзные: стандартной версии нужна видеокарта на 80 ГБ памяти. Сжатая версия, по оценкам Runway, поместится в RTX 5090 на 32 ГБ, но реальный пик потребления памяти в документации на GitHub пока не измеряли. Слабые места компания не скрывает.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…