Qwen3-VL-4B ganha 18,33 p.p. de precisão no teste Drone-PUR após ajuste fino com imagens de drones

Um grupo de pesquisadores da Universidade de Tianjin, da Universidade de Nankai e da Universidade do Sudeste publicou o Drone-PUR, um dataset e benchmark que avalia como modelos multimodais (VLMs) encontram, interpretam e relacionam pistas visuais em imagens de drones. Em paralelo, os autores apresentaram o UAV-PUR, um modelo-base obtido por ajuste fino da Qwen3-VL. As versões com 4 e 8 bilhões de parâmetros melhoraram a precisão geral em tarefas de múltipla escolha em 18,33 e 17,52 pontos percentuais, respectivamente, em relação aos modelos pré-treinados originais.

Três níveis: percepção, compreensão, raciocínio

A ideia do benchmark é que a resposta final do modelo depende da qualidade das "evidências" presentes no quadro. Os autores definem pista visual como uma região da imagem relevante para a tarefa, com um ou mais objetos, ligada a uma modalidade, um ângulo e um momento de captura específicos. A percepção localiza essas regiões e extrai informações básicas: categoria, atributos, quantidade e posição. A compreensão as relaciona com condições semânticas e conceitos espaciais. O raciocínio conecta várias pistas por meio de inferência lógica.

Exemplo do artigo: numa imagem com patos, o modelo precisa identificar as aves e a cerca, analisar a estrutura do cercado e os vestígios de presença humana, e então explicar por que todos os patos se reuniram no lago.

A filmagem com drones torna essas tarefas mais difíceis do que o habitual. Os objetos são pequenos e ficam muito próximos uns dos outros, atributos importantes ocupam poucos pixels, e a mudança de ângulo altera tanto a aparência dos itens quanto o sistema de referências espaciais. No Drone-PUR, mais de 90% das áreas anotadas ocupam menos de 1% da área da imagem.

O que há no dataset

O benchmark inclui 11 tarefas, 175 213 exemplos de treinamento e 20 051 exemplos de teste. Os dados de entrada são variados: quadros isolados, sequências, pares de imagens RGB e térmicas (TIR) e visões simultâneas de vários drones. Os autores reaproveitaram imagens de oito datasets próprios, lançados anteriormente, e acrescentaram 66 940 novas. Dez tarefas são avaliadas por múltipla escolha, enquanto detecção, associação de objeto a descrição (grounding) e contagem são verificadas em formato aberto, ou seja, por previsão quantitativa direta.

As quatro tarefas de raciocínio abrangem explicações causais e conclusões sobre a situação dentro de um único quadro, além da combinação de pistas de diferentes modalidades e ângulos. Os exemplos foram criados com VLMs e verificados de forma cruzada por outros modelos e manualmente; o trabalho consumiu mais de 800 horas-homem. A tarefa Position Spatial Judgment (PSJ, avaliação da posição relativa entre objetos) foi anotada inteiramente à mão, e todos os exemplos de teste passaram por verificação humana.

Resultados de 22 modelos e efeito do ajuste fino

Os autores testaram 22 VLMs de uso geral. Dentro de uma mesma família, os modelos maiores costumam se sair melhor nos três níveis. A exceção é o julgamento espacial: a qualidade não cresce de forma consistente com o tamanho, e as previsões mostram preferências sistemáticas por determinadas direções. PSJ e raciocínio multivisão (MVR) são as tarefas em que os modelos mais sofrem.

Entre os modelos, percepção forte se correlaciona com raciocínio forte. Experimentos de ajuste fino em uma única tarefa mostraram transferência seletiva nos dois sentidos: treinar na busca e interpretação de pistas melhora o raciocínio, e treinar na combinação de pistas aumenta a percepção. Testes com mascaramento de regiões locais-chave e com desativação de modalidades ou ângulos confirmaram que, sem os fragmentos importantes e as observações complementares, o raciocínio piora.

O UAV-PUR foi treinado em três estágios: adaptação da percepção, treinamento conjunto de todas as habilidades e consolidação final apenas com treinamento de linguagem. Nos dois primeiros estágios, foram usadas três "cabeças" auxiliares com supervisão geométrica e numérica, que ajudam a ancorar as representações visuais nas tarefas de captura aérea. Na inferência, só a cabeça de linguagem original é utilizada. Os maiores ganhos vieram na correspondência de alvos e na associação com várias fontes.

Limitações

O UAV-PUR ainda fica atrás do melhor modelo via API em tarefas de raciocínio puro. A interpretação espacial detalhada, as previsões confiáveis em formato aberto e a combinação de pistas de diferentes fontes continuam difíceis mesmo após o ajuste fino. A descrição disponível não traz dados sobre os modelos líderes específicos nem sobre as pontuações absolutas, por isso é preciso consultar os materiais do projeto em drone-pur.github.io para comparar os resultados.

Para equipes que desenvolvem navegação, inspeção ou monitoramento com VLMs, a principal conclusão é prática: modelos de uso geral sem adaptação a imagens aéreas erram em detalhes pequenos e no espaço, e o ajuste fino direcionado traz um ganho expressivo, mas não elimina a defasagem em raciocínio. O dataset aberto, com amostra de treinamento, permite reproduzir essa receita em modelos próprios.