Runway открыла Praxis-1: видеомодель управляет роботом и решает 46,2% задач в тесте Nvidia
Runway открыла код и веса Praxis-1 — модели, которая по кадрам камеры и команде вроде «положи банан на тарелку» рассчитывает движения робота. В симуляции Nvidia RoboLab-120 (120 задач: сортировать, хватать, складывать) она решила 46,2% против 42,9% у FLUX 3 Action, а на реальной руке Franka — 88 попыток из 100 против 80. Замеры сделала сама Runway, поэтому перед внедрением прогоните модель на своих задачах.
AI-обработка оригинала The Decoder; редакция Hamidun News
Роботов трудно учить по простой причине: чтобы манипулятор аккуратно взял банан или закрыл ящик, нужны сотни часов дорогих записей, где человек вручную управляет машиной. Runway, известная видеогенераторами вроде Gen-4.5, зашла с другой стороны и выложила в открытый доступ Praxis-1. Это модель, которая по кадрам камеры и текстовой команде рассчитывает движения робота, а свои знания о физическом мире берёт из обучения на видео. В тесте Nvidia RoboLab-120 (120 симулированных задач на сортировку, хватание и укладку предметов) она справилась с 46,2% заданий, а ближайший аналог FLUX 3 Action — с 42,9%. Веса и код доступны под лицензией Apache 2.0, которая разрешает коммерческое использование.
Как видеомодель стала контроллером
Praxis-1 получает на вход кадры с камеры, текстовую инструкцию («положи банан на тарелку») и данные о положении самого робота. По ним модель предсказывает, как изменится сцена, и на основе этого прогноза вычисляет нужные движения. Когда приходят новые кадры, управление корректируется на лету.
Логика понятна на человеческом примере. Вы видели тысячи роликов, где предметы падают, катятся и сталкиваются, поэтому примерно представляете, что будет, если толкнуть кружку. Praxis-1 сначала учили на обычных видео, чтобы она усвоила, как объекты двигаются и взаимодействуют. Потом Runway дообучила её на видео с действиями людей и на данных роботов. Такой класс систем компания называет World Action Model: сначала прогноз сцены, затем действие.
Runway надеется, что подход снизит зависимость от специально собранных роботных датасетов. Впрочем, специальные данные всё равно нужны: для руки Franka использовали около 277 часов записей из публичного набора DROID, а для двурукого робота — от 1400 до 2600 часов. Выиграла ли модель по объёму роботных данных у аналогов без видеопредобучения, пока неизвестно: прямого сравнения нет.
Что показали тесты
В рейтинге Nvidia RoboLab-120 Praxis-1 набрала 46,2% успеха, то есть чуть меньше половины задач выполнена до конца. У FLUX 3 Action, тоже построенной как World Action Model, результат 42,9%. Это лучший показатель в своей категории, но в общем зачёте модель только пятая: впереди два ИИ-агента и две роботные модели с другой архитектурой.
На реальной руке Franka после дообучения на DROID сравнили те же две модели на десяти задачах, включая «положить банан на тарелку» и «закрыть ящик». При десяти попытках на задачу Praxis-1 справилась 88 раз из 100, FLUX 3 Action — 80.
Отдельно проверили перенос на незнакомого робота: мобильную платформу с манипулятором, на которой Google когда-то развивала RT-1. Её записей в предыдущем обучении Praxis-1 не было. После дообучения примерно на 95 часах данных модель показала в симуляции средний успех 80% на четырёх типах задач — от хватания банок с газировкой до укладывания яблока в ящик. Оригинальная RT-1 на том же тесте набрала 52,4%. Важная оговорка: все тесты Runway провела сама, независимой проверки нет.
С конца сентября модель тестировали компании Standard Bots, Noble Machines и Ultra — на гуманоиде, промышленной руке и двурукой складской машине.
Ограничения и что делать разработчикам
Базовая модель сама по себе новым роботам не подходит: её нужно дообучать. Для популярных платформ уже есть готовые адаптированные версии. Скачать можно с Hugging Face после регистрации и согласия с условиями доступа, код лежит на GitHub.
Требования серьёзные: стандартной версии нужна видеокарта на 80 ГБ памяти. Сжатая версия, по оценкам Runway, поместится в RTX 5090 на 32 ГБ, но реальный пик потребления памяти в документации на GitHub пока не измеряли.
Слабые места компания не скрывает. Модель иногда путает похожие предметы и плохо справляется с расплывчатыми командами. Длинные задачи придётся разбивать на шаги вручную, потому что сама сложные последовательности действий она надёжно планировать не умеет. Runway видит в Praxis-1 прежде всего быстрый исполнитель движений, который в будущем можно связать с универсальной языковой моделью: та будет раскладывать задачу на шаги, а Praxis-1 — выполнять.
Практический вывод: если вы строите робототехнический стек или исследуете манипуляторы, у вас появилась открытая, коммерчески пригодная база, которую можно сравнить с другими моделями для управления роботами. Но пока все цифры — заявления самой Runway, поэтому прогоните модель на собственных задачах и своём железе, прежде чем рассчитывать на заявленные проценты.
- 21 нояб. 2026 г.Nvidia отчитается без Хуанга: опционы прогнозируют скачок акций на 7%
- 21 нояб. 2026 г.Акции Anthropic в день IPO закрылись на 17% выше цены размещения, но упали с пика на 15%
- 21 нояб. 2026 г.Cassava ищет до $1 млрд на чипы Nvidia для африканских ИИ-ЦОДов
- 21 нояб. 2026 г.Заявок на акции Anthropic в разы больше, чем их продают; основатели получат $1,75 млрд
Вопросы и ответы по материалу
Что известно по теме: как видеомодель стала контроллером?
Praxis-1 получает на вход кадры с камеры, текстовую инструкцию («положи банан на тарелку») и данные о положении самого робота. По ним модель предсказывает, как изменится сцена, и на основе этого прогноза вычисляет нужные движения. Когда приходят новые кадры, управление корректируется на лету. Логика понятна на человеческом примере. Вы видели тысячи роликов, где предметы падают, катятся и сталкиваются, поэтому примерно представляете, что будет, если толкнуть кружку.
Что известно по теме: что показали тесты?
В рейтинге Nvidia RoboLab-120 Praxis-1 набрала 46,2% успеха, то есть чуть меньше половины задач выполнена до конца. У FLUX 3 Action, тоже построенной как World Action Model, результат 42,9%. Это лучший показатель в своей категории, но в общем зачёте модель только пятая: впереди два ИИ-агента и две роботные модели с другой архитектурой. На реальной руке Franka после дообучения на DROID сравнили те же две модели на десяти задачах, включая «положить банан на тарелку» и «закрыть ящик».
Что известно по теме: ограничения и что делать разработчикам?
Базовая модель сама по себе новым роботам не подходит: её нужно дообучать. Для популярных платформ уже есть готовые адаптированные версии. Скачать можно с Hugging Face после регистрации и согласия с условиями доступа, код лежит на GitHub. Требования серьёзные: стандартной версии нужна видеокарта на 80 ГБ памяти. Сжатая версия, по оценкам Runway, поместится в RTX 5090 на 32 ГБ, но реальный пик потребления памяти в документации на GitHub пока не измеряли. Слабые места компания не скрывает.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.