Ce drone doté du modèle 1B OpenFlyV2 atteint seul sa cible dans 48% des vols réels, sans entraînement sur ceux-ci

Des chercheurs du laboratoire d'intelligence artificielle de Shanghai, avec l'Université polytechnique du Nord-Ouest, l'Université Jiao-tong de Shanghai, l'USTC et TeleAI, ont présenté OpenFlyV2, un modèle vision-language-action pour drones. Il comprend ce que voit la caméra, repère des objets à partir d'une description textuelle, estime les distances et génère en même temps la trajectoire de vol. Tout cela s'exécute à bord, sur un module NVIDIA Jetson Orin NX, sans déporter le calcul vers un serveur au sol. Lors des tests en conditions réelles, un quadricoptère DJI M30T a atteint sa cible dans 48% des vols, alors qu'aucune donnée de vol réel n'a servi à l'entraînement.

Un seul modèle plutôt qu'un assemblage de spécialistes

D'ordinaire, les robots aériens sont construits à partir de blocs distincts : l'un comprend la scène, un autre gère la navigation, un troisième la planification, et la partie la plus lourde du calcul part vers un serveur externe. Le vol dépend alors de la qualité de la liaison et de la latence. Dans OpenFlyV2, un backend vision-language commun (0,8 milliard de paramètres, basé sur Qwen3.5-VL) traite les images, la consigne et l'historique du vol. Lorsqu'il faut agir, un « expert d'actions » compact de 0,2 milliard de paramètres vient s'y greffer. Il convertit le contexte multimodal en 12 points de passage, qu'un contrôleur bas niveau exécute. La fréquence est de 10 Hz.

Pour respecter le budget du matériel embarqué, les auteurs ont ajouté deux techniques. Motion-Adaptive Memory (MAM) compresse l'historique du vol en un nombre limité de tokens « événementiels » : des segments de mouvement et des images clés. Le modèle n'a ainsi pas à charger de la vidéo dense dans son contexte. Motion-Structured Prior (MSP) exploite une observation : les trajectoires courtes des drones se ramènent à un petit ensemble de schémas récurrents. La génération ne part pas d'un bruit pur, mais d'une distribution centrée sur un prototype de mouvement adapté. Le générateur de type flow a donc besoin de moins d'étapes de débruitage.

Des données issues uniquement de la simulation

Le jeu de données OpenFlyV2-130K est assemblé à partir de 13 environnements : quatre scènes AirSim, deux niveaux urbains Unreal Engine et sept reconstructions en 3D Gaussian Splatting (cinq campus universitaires et deux quartiers détruits). Au total, il compte 72 352 trajectoires de navigation et 60 006 paires question-réponse portant sur la couleur, la description d'objets, les distances, les relations spatiales et l'ancrage visuel. Les annotations ont été générées automatiquement, puis vérifiées par des humains. Quatre environnements ont été entièrement exclus de l'entraînement afin de tester la généralisation.

Ce que montrent les mesures

Sur cinq tâches de perception aérienne, le modèle doté du backend de 0,8 milliard de paramètres se situe au niveau de GPT-5.5 et devance Qwen3.5-9B et Gemini 3 Flash. En ancrage visuel d'objets, il atteint 67,1% d'[email protected], contre 61,6% pour GPT-5.5 (la métrique mesure la part des réponses dont la boîte englobante coïncide avec la référence avec un IoU d'au moins 0,5). L'erreur absolue moyenne d'estimation de distance est de 47,32 m contre 52,62 m, et l'erreur relative de 0,27 contre 0,34. La qualité des descriptions est quasiment identique : 6,38 contre 6,36 sur 10.

En navigation simulée, sur 800 épisodes en environnements connus et 300 en environnements inconnus, le taux de réussite s'établit à 62,88% et 52,67%. Seul un signal d'arrêt explicite émis à moins de 25 m de la cible était comptabilisé. Quatre méthodes de référence open source, dont AeroVLA et le modèle de navigation d'OpenUAV, ont été réentraînées sur les mêmes données. Elles n'ont été comparées qu'en simulation, car aucune n'a été exécutée sur Jetson Orin NX. Lors du test physique, un même checkpoint a parcouru quatre sites réels et affiché 48% de réussite.

Limites

Avec 48%, plus de la moitié des vols réels se sont soldés par un échec : on est loin d'une fiabilité industrielle. La tolérance de 25 m retenue pour le critère de réussite est plutôt généreuse pour des tâches d'approche précise. La comparaison avec GPT-5.5 et les autres modèles a été menée sur le benchmark propre aux auteurs, sans vérification indépendante. Le texte laisse aussi apparaître qu'une partie des résultats provient d'un fine-tuning supplémentaire par reinforcement learning, et que les détails de la comparaison avec l'une des méthodes de référence sont tronqués dans la description disponible.

L'intérêt pratique est ailleurs : ce travail montre qu'un modèle de 1 milliard de paramètres peut faire tenir compréhension de la scène, raisonnement spatial et contrôle continu dans une boucle embarquée à 10 Hz. Le drone dépend ainsi moins de sa liaison de communication. L'équipe promet de publier le code et les données dans le dépôt AeroBrain sur GitHub ; en attendant, ses affirmations ne peuvent pas être vérifiées de façon autonome.