Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieCode / SDK · Prêt à l'emploiThe Decoder→ original

Runway publie Praxis-1 : un modèle vidéo qui pilote un robot et résout 46,2 % des tâches du test Nvidia

Runway publie le code et les poids de Praxis-1, un modèle qui calcule les mouvements d'un robot à partir des images d'une caméra et d'une commande comme « pose la banane sur l'assiette ». Dans la simulation Nvidia RoboLab-120 (120 tâches : trier, saisir, empiler), il résout 46,2 % des tâches, contre 42,9 % pour FLUX 3 Action. Sur un bras Franka réel, il réussit 88 essais sur 100, contre 80 pour son concurrent. Ces mesures ont été réalisées par Runway elle-même : avant tout déploiement, testez le modèle sur vos propres tâches.

Traité par IA depuis The Decoder ; édité par Hamidun News
Runway publie Praxis-1 : un modèle vidéo qui pilote un robot et résout 46,2 % des tâches du test Nvidia
Source : The Decoder. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireThe Decoder ↗
Rédacteur en chef
Chiffre clé #1La licence Apache 2.0 autorise l'usage commercial
Chiffre clé #2La version de base nécessite un GPU de 80 Go, la version compressée tient sur une RTX 5090 de 32 Go
Chiffre clé #3Le modèle confond des objets similaires et ne planifie pas les longues séquences d'étapes

Il est difficile d'apprendre à un robot à agir pour une raison simple : pour qu'un manipulateur saisisse délicatement une banane ou ferme un tiroir, il faut des centaines d'heures d'enregistrements coûteux, dans lesquels un humain contrôle la machine à la main. Runway, connue pour ses générateurs vidéo comme Gen-4.5, a pris le problème par un autre angle et publie Praxis-1 en accès libre.

Il s'agit d'un modèle qui calcule les mouvements d'un robot à partir des images d'une caméra et d'une instruction textuelle, et qui puise sa connaissance du monde physique dans l'apprentissage sur des vidéos. Dans le test Nvidia RoboLab-120 (120 tâches simulées de tri, de saisie et d'empilement d'objets), il réussit 46,2 % des tâches, alors que le meilleur analogue, FLUX 3 Action, en réussit 42,9 %. Les poids et le code sont disponibles sous licence Apache 2.

0, qui autorise l'usage commercial.

Comment un modèle vidéo devient un contrôleur

Praxis-1 reçoit en entrée les images de la caméra, une instruction textuelle (« pose la banane sur l'assiette ») et les données sur la position du robot lui-même. À partir de ces éléments, le modèle prédit comment la scène va évoluer, et c'est de cette prédiction qu'il déduit les mouvements nécessaires. Quand de nouvelles images arrivent, la commande est corrigée en temps réel.

La logique s'explique par un exemple humain. Vous avez vu des milliers de vidéos où des objets tombent, roulent et se heurtent, si bien que vous savez à peu près ce qui se passera si vous poussez une tasse. Praxis-1 a d'abord été entraîné sur des vidéos ordinaires, afin d'assimiler la façon dont les objets se déplacent et interagissent. Runway l'a ensuite affiné sur des vidéos d'actions humaines et sur des données de robots. L'entreprise appelle ce type de système un World Action Model : d'abord la prédiction de la scène, ensuite l'action.

Runway espère ainsi réduire la dépendance aux jeux de données robotiques spécialement collectés. Cela dit, des données spécifiques restent nécessaires : pour le bras Franka, l'équipe a utilisé environ 277 heures d'enregistrements du jeu de données public DROID, et pour le robot bimanuel, entre 1 400 et 2 600 heures. Il n'est pas encore possible de dire si le modèle a gagné en volume de données robotiques par rapport aux analogues sans préentraînement vidéo, car il n'existe pas de comparaison directe.

Ce que montrent les tests

Dans le classement Nvidia RoboLab-120, Praxis-1 obtient 46,2 % de réussite, ce qui signifie qu'un peu moins de la moitié des tâches sont menées à terme. FLUX 3 Action, également construit comme un World Action Model, atteint 42,9 %. C'est le meilleur score de sa catégorie, mais au classement général le modèle n'arrive qu'en cinquième position : devant lui se trouvent deux agents IA et deux modèles robotiques à architecture différente.

Sur un bras Franka réel, après un affinage sur DROID, les deux modèles ont été comparés sur dix tâches, dont « pose la banane sur l'assiette » et « ferme le tiroir ». Avec dix essais par tâche, Praxis-1 a réussi 88 fois sur 100, FLUX 3 Action 80 fois.

L'équipe a aussi testé le transfert vers un robot inconnu : une plateforme mobile équipée d'un manipulateur, sur laquelle Google avait autrefois développé RT-1. Praxis-1 ne disposait d'aucun enregistrement de cette plateforme lors de son entraînement initial. Après un affinage sur environ 95 heures de données, le modèle affiche en simulation un taux de réussite moyen de 80 % sur quatre types de tâches, de la saisie de canettes de soda au rangement d'une pomme dans une caisse. L'original RT-1 atteint 52,4 % sur le même test. Précision importante : tous ces tests ont été menés par Runway elle-même, sans vérification indépendante.

Depuis fin septembre, le modèle est testé par les entreprises Standard Bots, Noble Machines et Ultra, sur un humanoïde, un bras industriel et un engin d'entrepôt bimanuel.

Limites et conséquences pour les développeurs

Le modèle de base ne convient pas tel quel aux nouveaux robots : il doit être affiné. Pour les plateformes populaires, des versions adaptées existent déjà. Les poids se téléchargent sur Hugging Face après inscription et acceptation des conditions d'accès, et le code est hébergé sur GitHub.

Les exigences matérielles sont élevées : la version standard nécessite une carte graphique de 80 Go de mémoire. Selon Runway, la version compressée tiendra sur une RTX 5090 de 32 Go, mais la documentation sur GitHub ne mesure pas encore le pic réel de consommation mémoire.

L'entreprise ne cache pas les faiblesses du modèle. Il confond parfois des objets similaires et gère mal les consignes floues. Les tâches longues devront être découpées manuellement en étapes, car il ne sait pas encore planifier fiablement des séquences d'actions complexes. Runway voit surtout dans Praxis-1 un exécutant rapide des mouvements, qui pourrait à terme être couplé à un modèle de langage généraliste : celui-ci décomposerait la tâche en étapes, et Praxis-1 les exécuterait.

En pratique, si vous développez une pile robotique ou explorez la manipulation, vous disposez désormais d'une base ouverte et utilisable commercialement, que vous pouvez comparer à d'autres modèles de contrôle robotique. Mais à ce stade, tous les chiffres sont des déclarations de Runway : testez le modèle sur vos propres tâches et avec votre matériel avant de vous fier aux pourcentages annoncés.

Dossier

Questions clés sur cet article

Comment un modèle vidéo devient un contrôleur?

Praxis-1 reçoit en entrée les images de la caméra, une instruction textuelle (« pose la banane sur l'assiette ») et les données sur la position du robot lui-même. À partir de ces éléments, le modèle prédit comment la scène va évoluer, et c'est de cette prédiction qu'il déduit les mouvements nécessaires. Quand de nouvelles images arrivent, la commande est corrigée en temps réel. La logique s'explique par un exemple humain.

Que sait-on sur Ce que montrent les tests ?

Dans le classement Nvidia RoboLab-120, Praxis-1 obtient 46,2 % de réussite, ce qui signifie qu'un peu moins de la moitié des tâches sont menées à terme. FLUX 3 Action, également construit comme un World Action Model, atteint 42,9 %. C'est le meilleur score de sa catégorie, mais au classement général le modèle n'arrive qu'en cinquième position : devant lui se trouvent deux agents IA et deux modèles robotiques à architecture différente.

Que sait-on sur Limites et conséquences pour les développeurs ?

Le modèle de base ne convient pas tel quel aux nouveaux robots : il doit être affiné. Pour les plateformes populaires, des versions adaptées existent déjà. Les poids se téléchargent sur Hugging Face après inscription et acceptation des conditions d'accès, et le code est hébergé sur GitHub. Les exigences matérielles sont élevées : la version standard nécessite une carte graphique de 80 Go de mémoire.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…