Drone com modelo de 1B OpenFlyV2 chega sozinho ao alvo em 48% dos voos reais, sem ter treinado com dados reais

Pesquisadores do Laboratório de Inteligência Artificial de Xangai, junto com a Universidade Politécnica do Noroeste, a Universidade Jiao Tong de Xangai, a USTC e a TeleAI, apresentaram o OpenFlyV2, um modelo vision-language-action para drones. Ele entende o que a câmera vê, localiza objetos a partir de uma descrição em texto, estima distâncias e gera a trajetória de voo ao mesmo tempo. Tudo isso roda a bordo, em um módulo NVIDIA Jetson Orin NX, sem transferir o processamento para um servidor em solo. Nos testes reais, o quadricóptero DJI M30T chegou ao alvo em 48% dos voos, embora nenhum dado real de voo tenha sido usado no treinamento.

Um só modelo no lugar de um conjunto de especialistas

Normalmente, os robôs aéreos são montados com blocos separados: um cuida da compreensão da cena, outro da navegação, um terceiro do planejamento, e a parte mais pesada do processamento vai para um servidor externo. Isso faz o voo depender da qualidade da conexão e da latência. No OpenFlyV2, um backend visão-linguagem compartilhado (0,8 bilhão de parâmetros, baseado no Qwen3.5-VL) processa os quadros, a instrução e o histórico do voo. Quando é preciso agir, um "especialista em ações" compacto, com 0,2 bilhão de parâmetros, é acionado. Ele converte o contexto multimodal em 12 waypoints, e um controlador de baixo nível os executa. A frequência é de 10 Hz.

Para caber no orçamento do hardware embarcado, os autores adotaram duas técnicas. O Motion-Adaptive Memory (MAM) comprime o histórico do voo em um conjunto limitado de tokens "de eventos": segmentos de movimento mais quadros de referência. Assim, o modelo não carrega vídeo denso no contexto. O Motion-Structured Prior (MSP) parte da observação de que as trajetórias curtas de drones se resumem a um pequeno conjunto de padrões repetitivos. A geração não começa de ruído puro, mas de uma distribuição em torno de um protótipo de movimento adequado, e por isso o gerador baseado em flow precisa de menos etapas de remoção de ruído.

Dados apenas de simulação

O dataset OpenFlyV2-130K foi montado a partir de 13 ambientes: quatro cenas do AirSim, dois níveis urbanos do Unreal Engine e sete reconstruções em 3D Gaussian Splatting (cinco campi universitários e dois bairros destruídos). No total, são 72 352 trajetórias de navegação e 60 006 pares de pergunta e resposta sobre cor, descrição de objetos, distâncias, relações espaciais e ancoragem visual. As anotações foram geradas automaticamente e revisadas por pessoas. Quatro ambientes foram excluídos por completo do treinamento, para testar a generalização.

O que as medições mostraram

Em cinco tarefas de percepção aérea, o modelo com backend de 0,8 bilhão de parâmetros fica no mesmo nível do GPT-5.5 e supera o Qwen3.5-9B e o Gemini 3 Flash. Na ancoragem de objetos, ele atinge 67,1% de [email protected], contra 61,6% do GPT-5.5 (a métrica é a proporção de respostas em que a caixa delimitadora coincide com a de referência com IoU de pelo menos 0,5). O erro absoluto médio na estimativa de distância é de 47,32 m, contra 52,62 m, e o relativo é de 0,27, contra 0,34. A qualidade das descrições é praticamente igual: 6,38 contra 6,36 em 10.

Na navegação simulada, com 800 episódios em ambientes conhecidos e 300 em ambientes desconhecidos, a taxa de sucesso foi de 62,88% e 52,67%. Só contava como sucesso um sinal explícito de parada a até 25 m do alvo. Quatro métodos de referência abertos, entre eles o AeroVLA e o modelo de navegação do OpenUAV, foram retreinados com os mesmos dados. A comparação com eles foi feita apenas em simulação, porque nenhum rodou no Jetson Orin NX. No teste físico, o mesmo checkpoint passou por quatro locais reais e teve 48% de sucesso.

Limitações

Os 48% significam que mais da metade dos voos reais terminou em fracasso, então o modelo ainda está longe de uma confiabilidade industrial. A tolerância de 25 m no critério de sucesso é bastante generosa para tarefas de aproximação precisa. A comparação com o GPT-5.5 e outros modelos foi feita no benchmark dos próprios autores, sem verificação independente. O texto também indica que parte dos resultados foi obtida após um ajuste adicional com reinforcement learning, e que os detalhes da comparação com um dos métodos de referência estão cortados na descrição disponível.

O valor prático está em outro ponto: o trabalho mostra que um modelo de 1 bilhão de parâmetros consegue reunir compreensão de cena, raciocínio espacial e controle contínuo em um circuito embarcado de 10 Hz. Isso reduz a dependência do drone em relação ao canal de comunicação. A equipe promete publicar o código e os dados no repositório AeroBrain, no GitHub, mas, por enquanto, não é possível verificar as afirmações de forma independente.