TGIT traduz comandos curtos para drones e eleva o sucesso de navegação de 11% para 33%

Modelos de navegação aérea guiada por texto (aerial vision-and-language navigation, VLN) são treinados com comandos detalhados, ajustados à trajetória de voo. As pessoas, porém, falam de outro jeito: de forma curta e focada no objetivo. No navegador congelado OpenFly, essa diferença derruba a taxa de missões bem-sucedidas (SR) de 31,03% para 11,33%. Os autores de um novo trabalho no arXiv propuseram o Trajectory-Grounded Instruction Translator (TGIT). Trata-se de um tradutor que reescreve o comando curto em uma forma compreensível para o agente e não exige retreinar o próprio navegador. Em instruções humanas reais, ele eleva a SR de 11,33% para 32,51%.

Onde a ligação entre humano e drone se rompe

O navegador enxerga o mundo através da amostra de treinamento. Nela, as instruções se parecem com uma rota passo a passo: voe ao longo do prédio, vire no cruzamento, desça perto do telhado vermelho. O usuário, por sua vez, diz algo como "voe até aquele prédio alto perto do rio". Para uma pessoa, isso basta. Para um agente acostumado a detalhes, é quase ruído.

O artigo mede essa diferença diretamente. Com os comandos originais detalhados, o OpenFly congelado alcança 31,03% de SR. Com instruções curtas, orientadas à intenção, o resultado cai para 11,33%. Retreinar o navegador para cada estilo de fala é caro e inconveniente, ainda mais quando ele já foi implantado e congelado. Por isso, os autores optaram por alterar a entrada, e não o modelo.

Como o TGIT funciona

Para treinar o tradutor, são necessários pares "comando curto — comando detalhado". Há poucos pares reais, então os autores os geraram de forma sintética. Um modelo de linguagem recebeu alguns exemplos de estilo escritos por pessoas e foi instruído a transformar os comandos originais em comandos "fracos" (Weak): curtos e focados na intenção. Esses comandos Weak, sozinhos, rendem 15,27% de SR, ou seja, um pouco melhor que as instruções humanas reais, mas bem pior que os originais.

O TGIT atua como um front-end diante do navegador. Ele recebe a entrada Weak e entrega um comando que o agente consegue executar. O tradutor é treinado com base nos resultados das trajetórias: observa para onde o navegador congelado realmente voou depois de cada formulação e ajusta a tradução a esse comportamento. Daí o nome "trajectory-grounded".

Principais números do resumo (abstract):

• OpenFly congelado com comandos detalhados: 31,03% de SR;
• o mesmo modelo com instruções humanas curtas: 11,33% de SR;
• comandos Weak sem tradução: 15,27% de SR;
• entrada Weak via TGIT: 37,93% de SR;
• instruções humanas reais via TGIT, zero-shot: 32,51% de SR;
• amostra reservada do OpenFly: de 4,95% para 20,79%.

O número de 37,93% merece atenção à parte. Ele supera os 31,03% obtidos com os comandos detalhados originais. Pelo visto, o tradutor faz mais do que recuperar detalhes perdidos: aprende a formular o comando do jeito que o navegador processa melhor. Ainda assim, as conclusões exigem cautela: vale comparar esses números considerando as condições do experimento descritas no texto completo do trabalho.

A transferência também importa. O tradutor foi treinado com comandos Weak sintéticos e, com pessoas reais, funcionou sem retreinamento: os 11,33% viraram 32,51%. Nos benchmarks CityNav e AirVLN, os autores relatam a "recuperação" da qualidade. O resumo não traz valores numéricos, então a dimensão desse efeito ainda é desconhecida.

O que dá para levar para a prática

A principal ideia prática é que o adaptador só precisa observar o comportamento de um modelo alheio. Os pesos, os gradientes e os dados de treinamento desse modelo não são necessários. Equipes que operam modelos de navegação prontos para drones ou robôs podem colocar essa camada na frente do sistema e não mexer no que já foi certificado ou testado.

Há também limitações. Os resultados vêm de benchmarks de simulação, e não de voos reais. Os comandos Weak foram gerados por um modelo a partir de poucas amostras, então a variedade real de fala, sotaques e ruído da entrada por voz continua sendo uma questão em aberto. Antes de construir um produto, vale testar o TGIT nos seus próprios cenários e no estilo de pedidos dos seus usuários. Se o efeito se confirmar, a tradução de intenção em instrução executável passará a ser uma camada separada na stack de agentes autônomos, e não uma tarefa de retreinamento a cada novo modelo.