Robostral Navigate de Mistral : un robot qui voit avec une seule caméra et se déplace seul

Mistral AI a présenté Robostral Navigate, son premier modèle de navigation autonome pour robots. Il s'oriente dans l'espace grâce à la vidéo d'une simple caméra RGB et atteint 76,6 % de réussite sur le test R2R-CE, dans des environnements absents de l'entraînement.

Ce que sait faire le modèle

Robostral Navigate est un modèle de 8 milliards de paramètres qui, à partir d'une image de la caméra et d'une instruction textuelle, guide le robot dans un environnement complexe : un bureau, un bâtiment résidentiel ou commercial, un espace extérieur. Une instruction peut ressembler à ceci : « Sors du hall, suis le couloir, entre dans le local de stockage et arrête-toi devant la deuxième étagère ». Le modèle mène alors le robot sur tout l'itinéraire de façon autonome, sans intervention humaine.

• 79,4 % de réussite sur la validation R2R-CE pour les scènes connues et 76,6 % pour les scènes inédites
• Il devance de 9,7 points la meilleure approche à caméra unique et de 4,5 points le meilleur système avec lidar ou plusieurs caméras
• Il fonctionne sur des robots à roues, à pattes et volants, et résiste aux différences de paramètres de caméra
• Le jeu de données d'entraînement compte environ 400 000 trajectoires collectées dans 6 000 scènes simulées

Comment le modèle trouve son chemin

Robostral Navigate ne prédit pas un déplacement métrique, mais un point dans l'image : les coordonnées de la cible dans l'image courante de la caméra et l'orientation voulue à l'arrivée. Cette navigation « par désignation » résiste aux changements d'optique et d'échelle de la scène, contrairement aux commandes fondées sur des distances métriques. Lorsque la cible sort du champ de vision, le modèle bascule sur des déplacements en coordonnées locales du robot, par exemple : « Avance de 2 mètres, de 1,5 mètre vers la gauche et tourne de 25 degrés à gauche ».

Comment Robostral Navigate a été entraîné

Le modèle a été conçu entièrement en interne chez Mistral AI et ne s'appuie pas sur des modèles vision-langage ouverts : il est initialisé à partir d'un modèle maison spécialisé dans la désignation, le comptage et la localisation d'objets. L'élément clé de l'entraînement est une méthode fondée sur le prefix-caching : elle comprime un épisode entier en une seule séquence et permet d'apprendre sur tous les pas de temps en une seule passe, ce qui divise par 22 le nombre de tokens d'entraînement par rapport à un entraînement pas à pas. Après la phase supervisée, le modèle est encore amélioré par apprentissage par renforcement en ligne avec l'algorithme CISPO, qui lui permet d'apprendre de ses propres erreurs et de se remettre de ses échecs.

«

Aujourd'hui, nous présentons Robostral Navigate, notre premier modèle de navigation incarnée », indique le blog officiel de Mistral AI.

Ce que cela change

Naviguer avec une seule caméra, sans lidar ni capteurs de profondeur, réduit le coût et la complexité des robots destinés aux entrepôts, à la livraison, à l'hôtellerie et à la production. Mistral AI cite explicitement ces secteurs parmi les premiers bénéficiaires de la technologie.

Questions fréquentes

Sur quels robots Robostral Navigate fonctionne-t-il ?

Le modèle fonctionne sur des robots à roues, à pattes et volants, et se généralise à des plateformes de tailles différentes, ce que confirme Mistral AI dans la description du modèle.

De combien de données l'entraînement a-t-il eu besoin ?

L'entreprise a collecté environ 400 000 trajectoires dans 6 000 scènes simulées. Toute la chaîne de génération de données a été construite entièrement en simulation, sans robots réels lors de la collecte.

Dans quelle mesure

Robostral Navigate est-il plus précis que ses concurrents ?

Sur le test R2R-CE pour les environnements inédits, le modèle devance de 9,7 points la meilleure approche à caméra unique et de 4,5 points le meilleur système à plusieurs caméras ou capteur de profondeur, pour un score final de 76,6 % de réussite.

En quoi la métrique R2R-CE diffère-t-elle des tests de navigation habituels ?

R2R-CE (Room-to-Room in Continuous Environments) évalue la façon dont un modèle suit des instructions textuelles dans des environnements absents du jeu d'entraînement. C'est précisément dans ce scénario que Robostral Navigate obtient 76,6 %, et non sur les scènes connues, où le résultat est encore plus élevé.