TGIT traduit les commandes courtes pour drones et fait passer le taux de réussite en navigation de 11% à 33%

Les modèles de navigation aérienne guidée par le texte (aerial vision-and-language navigation, VLN) sont entraînés sur des commandes détaillées, calées sur la trajectoire de vol. Les humains, eux, s'expriment autrement : brièvement, en insistant sur l'objectif. Sur le navigateur OpenFly gelé, cet écart fait chuter le taux de missions réussies (SR) de 31,03% à 11,33%. Les auteurs d'un nouveau travail publié sur arXiv proposent le Trajectory-Grounded Instruction Translator (TGIT). Ce traducteur réécrit une commande courte sous une forme que l'agent comprend, sans qu'il soit nécessaire de réentraîner le navigateur lui-même. Sur des instructions humaines réelles, il fait passer le SR de 11,33% à 32,51%.

Où la chaîne humain-drone se brise

Le navigateur perçoit le monde à travers son jeu d'entraînement. Les instructions qui s'y trouvent ressemblent à un itinéraire pas à pas : longe le bâtiment, tourne au carrefour, descends près du toit rouge. Un utilisateur, lui, dira « va jusqu'à ce grand bâtiment près de la rivière ». Pour un humain, cela suffit. Pour un agent habitué aux détails, c'est presque du bruit.

L'article mesure cet écart directement. Sur les commandes d'origine, détaillées, OpenFly gelé atteint 31,03% de SR. Sur des instructions courtes, centrées sur l'intention, le résultat tombe à 11,33%. Réentraîner le navigateur pour chaque style de langage est coûteux et peu pratique, surtout lorsqu'il est déjà déployé et gelé. Les auteurs ont donc choisi de modifier l'entrée plutôt que le modèle.

Comment fonctionne TGIT

Pour entraîner le traducteur, il faut des paires « commande courte — commande détaillée ». Les paires réelles sont rares ; les auteurs les ont donc générées de façon synthétique. Un modèle de langage a reçu quelques exemples de style rédigés par des humains, puis a été chargé de transformer les commandes d'origine en commandes « faibles » (Weak) : courtes, centrées sur l'intention. Ces commandes Weak donnent à elles seules 15,27% de SR, soit un peu mieux que les instructions humaines réelles, mais nettement moins bien que les originales.

TGIT fonctionne comme un frontend placé devant le navigateur. Il reçoit une entrée Weak et produit une commande que l'agent est capable d'exécuter. Le traducteur est entraîné sur les issues des trajectoires : il observe où le navigateur gelé s'est réellement dirigé après telle ou telle formulation, et ajuste sa traduction à ce comportement. D'où le nom « trajectory-grounded ».

Les chiffres clés de l'abstract :

• OpenFly gelé sur commandes détaillées : 31,03% de SR ;
• le même sur instructions humaines courtes : 11,33% de SR ;
• commandes Weak sans traduction : 15,27% de SR ;
• entrée Weak via TGIT : 37,93% de SR ;
• instructions humaines réelles via TGIT, zero-shot : 32,51% de SR ;
• échantillon OpenFly mis de côté : de 4,95% à 20,79%.

Le chiffre de 37,93% mérite un regard à part. Il dépasse les 31,03% obtenus sur les commandes détaillées d'origine. Apparemment, le traducteur ne se contente pas de restituer les détails perdus : il apprend à formuler les instructions de la manière qui convient le mieux au navigateur. Les conclusions restent toutefois prudentes : mieux vaut comparer ces indicateurs en tenant compte des conditions expérimentales décrites dans le texte complet de l'article.

Le transfert compte lui aussi. Le traducteur a été entraîné sur des commandes Weak synthétiques, mais il a fonctionné sur de vraies personnes sans réentraînement : 11,33% sont devenus 32,51%. Pour les benchmarks CityNav et AirVLN, les auteurs font état d'une « restauration » de la qualité. L'abstract ne donne aucune valeur chiffrée ; l'ampleur de l'effet y reste donc inconnue pour l'instant.

Ce que l'on peut en retenir en pratique

L'idée pratique principale est qu'il suffit à l'adaptateur d'observer le comportement d'un modèle tiers. Il n'a besoin ni de ses poids, ni de ses gradients, ni de ses données d'entraînement. Les équipes qui exploitent des modèles de navigation prêts à l'emploi pour des drones ou des robots peuvent placer une telle couche devant leur système sans toucher à ce qui est déjà certifié ou testé.

Il y a aussi des limites. Les résultats proviennent de benchmarks de simulation, pas de vols réels. Les commandes Weak ont été générées par un modèle à partir de quelques exemples ; la diversité réelle des façons de parler, des accents et du bruit de la saisie vocale reste donc une question ouverte. Avant de construire un produit, il est sensé de tester TGIT sur ses propres scénarios et avec son propre style de requêtes. Si l'effet se confirme, la traduction de l'intention en instruction exécutable deviendrait une couche à part dans la pile des agents autonomes, au lieu d'être une tâche de réentraînement pour chaque nouveau modèle.