TGIT traduce órdenes cortas para drones y eleva el éxito de la navegación del 11% al 33%

Los modelos de navegación aérea guiada por texto (aerial vision-and-language navigation, VLN) se entrenan con órdenes detalladas, verificadas contra la trayectoria de vuelo. Las personas, en cambio, hablan de otra manera: de forma breve y centrada en el objetivo. En el navegador congelado OpenFly, esa brecha reduce la tasa de misiones exitosas (SR) del 31,03% al 11,33%. Los autores de un nuevo trabajo en arXiv proponen Trajectory-Grounded Instruction Translator (TGIT). Es un traductor que reescribe la orden corta en una forma comprensible para el agente y que no exige reentrenar el navegador. Con instrucciones humanas reales, eleva la SR de 11,33% a 32,51%.

Dónde se rompe el vínculo entre persona y dron

El navegador ve el mundo a través de su conjunto de entrenamiento. Allí las instrucciones se parecen a una ruta paso a paso: vuela a lo largo del edificio, gira en el cruce, desciende junto al tejado rojo. El usuario, en cambio, dirá «vuela hasta ese edificio alto junto al río». Para una persona basta con eso. Para un agente acostumbrado al detalle, es casi ruido.

El artículo mide esa brecha de forma directa. Con las órdenes originales detalladas, OpenFly congelado alcanza una SR del 31,03%. Con instrucciones cortas, orientadas a la intención, el resultado cae al 11,33%. Reentrenar el navegador para cada estilo de habla es caro e incómodo, sobre todo si ya está desplegado y congelado. Por eso los autores optaron por cambiar la entrada y no el modelo.

Cómo funciona TGIT

Para entrenar el traductor hacen falta pares «orden corta — orden detallada». Hay pocos pares reales, así que los autores los generaron de forma sintética. Dieron a un modelo de lenguaje varios ejemplos de estilo escritos por personas y le pidieron que convirtiera las órdenes originales en órdenes «débiles» (Weak): cortas y centradas en la intención. Estas órdenes Weak, por sí solas, logran una SR del 15,27%, es decir, algo mejor que las instrucciones humanas reales, pero bastante peor que las originales.

TGIT funciona como un front-end situado delante del navegador. Recibe la entrada Weak y produce una orden que el agente es capaz de ejecutar. El traductor se entrena con los resultados de las trayectorias: observa adónde voló realmente el navegador congelado tras cada formulación y ajusta la traducción a ese comportamiento. De ahí el nombre «trajectory-grounded».

Cifras clave del abstract:

• OpenFly congelado con órdenes detalladas: 31,03% de SR;
• el mismo, con instrucciones humanas cortas: 11,33% de SR;
• órdenes Weak sin traducción: 15,27% de SR;
• entrada Weak a través de TGIT: 37,93% de SR;
• instrucciones humanas reales a través de TGIT, zero-shot: 32,51% de SR;
• conjunto de datos reservado de OpenFly: de 4,95% a 20,79%.

Conviene detenerse aparte en el 37,93%. Es más que el 31,03% de las órdenes detalladas originales. Es probable que el traductor, además de recuperar los detalles perdidos, aprenda a formular las órdenes de la manera que mejor le conviene al navegador. Con todo, las conclusiones deben ser prudentes: estas cifras conviene compararlas según las condiciones del experimento descritas en el texto completo del trabajo.

La transferencia también es relevante. El traductor se entrenó con órdenes Weak sintéticas y, aun así, funcionó con personas reales sin reentrenamiento: el 11,33% pasó a 32,51%. En los benchmarks CityNav y AirVLN, los autores hablan de «recuperación» de la calidad. El abstract no incluye valores numéricos, así que la magnitud del efecto en esos casos sigue sin conocerse.

Qué se puede llevar a la práctica

La idea práctica principal es que a un adaptador le basta con observar el comportamiento de un modelo ajeno. No necesita sus pesos, sus gradientes ni sus datos de entrenamiento. Los equipos que explotan modelos de navegación ya hechos para drones o robots pueden colocar una capa de este tipo delante del sistema y no tocar lo que ya está certificado o probado.

También hay limitaciones. Los resultados se obtuvieron en benchmarks de simulación, no en vuelos reales. Las órdenes Weak las generó un modelo a partir de unas pocas muestras, por lo que la diversidad real del habla, los acentos y el ruido de la entrada por voz siguen siendo una cuestión abierta. Antes de construir un producto, conviene probar TGIT en los escenarios propios y con el estilo de consultas de cada equipo. Si el efecto se confirma, la traducción de la intención a una instrucción ejecutable pasará a ser una capa independiente en el stack de agentes autónomos, y no una tarea de reentrenamiento para cada modelo nuevo.