Robostral Navigate de Mistral : Robot Voit à Travers une Caméra et se Navigue Seul

Mistral AI a présenté Robostral Navigate — son premier modèle pour la navigation autonome des robots, qui s'oriente dans l'espace en utilisant une vidéo d'une seule caméra RGB standard et démontre 76,6% de tentatives réussies au test R2R-CE pour les environnements non rencontrés lors de l'entraînement.

Ce que le modèle peut faire

Robostral Navigate est un modèle de 8 milliards de paramètres qui, basé sur une trame de caméra et des instructions textuelles, guide un robot à travers des environnements complexes : bureaux, immeubles résidentiels ou commerciaux, espaces extérieurs. L'instruction pourrait être : "Quittez le hall d'entrée, descendez le couloir, entrez dans le placard de rangement et arrêtez-vous face à la deuxième étagère" — et le modèle guide le robot sur tout l'itinéraire de manière autonome, sans intervention humaine.

• Taux de succès de 79,4% en validation R2R-CE dans les scénarios familiers et 76,6% dans les scénarios non vus
• Supériorité sur la meilleure approche à caméra unique — 9,7 points, sur le meilleur système avec lidar ou plusieurs caméras — 4,5 points
• Fonctionne sur les robots à roues, à pattes et volants, résistant aux différences de paramètres de caméra
• Ensemble de données d'entraînement — environ 400 000 trajectoires collectées dans 6 000 scénarios simulés

Comment le modèle trouve son chemin

Robostral Navigate prédit non pas un déplacement métrique, mais un point dans l'image : coordonnées cibles dans la trame de caméra actuelle et l'orientation requise à l'arrivée. Cette méthode de navigation par "pointage" est résistante aux changements de lentille et aux variations d'échelle de scène — contrairement aux commandes basées sur des distances métriques. Lorsque la cible sort du champ de vision, le modèle bascule vers des déplacements de coordonnées locales relatifs au robot, par exemple : "Avancez 2 mètres en avant, 1,5 mètre à gauche et tournez 25 degrés à gauche".

Comment Robostral Navigate a été entraîné

Le modèle est construit entièrement au sein de Mistral AI et ne s'appuie pas sur les modèles de vision-langage open-source — il est initialisé sur la base du propre modèle de l'entreprise, spécialisé dans les tâches de pointage, comptage et localisation d'objets. Un élément clé de l'entraînement est la méthode de mise en cache des préfixes : elle compresse un épisode entier en une seule séquence et permet d'entraîner sur tous les pas de temps en une seule passe, réduisant les jetons d'entraînement de 22 fois par rapport à l'entraînement sur des étapes individuelles. Après la phase d'apprentissage supervisé, le modèle est encore amélioré par apprentissage par renforcement en ligne utilisant l'algorithme CISPO, qui lui permet d'apprendre de ses propres erreurs et de se rétablir après des défaillances.

"Aujourd'hui, nous présentons

Robostral Navigate — notre premier modèle pour la navigation incarnée", selon le blog officiel de Mistral AI.

Ce que cela signifie

La navigation en utilisant uniquement une caméra unique sans lidar et capteurs de profondeur réduit le coût et la complexité des robots pour les entrepôts, la livraison, les hôtels et la fabrication — Mistral AI nomme directement ces industries comme les premiers bénéficiaires de la technologie.

Questions fréquemment posées

Sur quels robots Robostral Navigate peut-il fonctionner ?

Le modèle fonctionne sur les robots à roues, à pattes et volants et se généralise à différentes tailles de plateforme — Mistral AI le confirme dans la description du modèle.

Combien de données ont été nécessaires pour l'entraînement ?

L'entreprise a collecté environ 400 000 trajectoires dans 6 000 scénarios simulés — tout le pipeline de génération de données est construit entièrement en simulation, sans utiliser de robots réels au stade de la collecte de données.

Quel est la précision de

Robostral Navigate par rapport à ses concurrents ?

Au test R2R-CE pour les environnements non vus, le modèle dépasse la meilleure approche à caméra unique de 9,7 points et le meilleur système avec plusieurs caméras ou capteur de profondeur — de 4,5 points, avec 76,6% final de tentatives réussies.

En quoi la métrique R2R-CE diffère-t-elle des tests de navigation standard ?

R2R-CE (Room-to-Room in Continuous Environments) teste la qualité du suivi des instructions textuelles du modèle dans les environnements non inclus dans l'échantillon d'entraînement — sur ce scénario Robostral Navigate obtient un résultat de 76,6%, non pas sur les scénarios familiers où le résultat est encore plus élevé.