Qwen3-VL-4B gagne 18,33 points de précision sur Drone-PUR après un fine-tuning sur des images de drones

Un groupe de chercheurs de l'Université de Tianjin, de l'Université de Nankai et de l'Université du Sud-Est a publié Drone-PUR, un jeu de données et un benchmark qui testent la façon dont les modèles multimodaux (VLM) repèrent, interprètent et relient entre eux des indices visuels dans des images de drones. Parallèlement, les auteurs présentent UAV-PUR, un modèle de base affiné à partir de Qwen3-VL. Ses versions de 4 et 8 milliards de paramètres améliorent la précision globale sur les tâches à choix multiples de 18,33 et 17,52 points de pourcentage par rapport aux modèles pré-entraînés d'origine.

Trois niveaux : perception, compréhension, raisonnement

Le principe du benchmark : la réponse finale d'un modèle dépend de la qualité des « indices » présents dans l'image. Les auteurs définissent un indice visuel comme une zone de l'image significative pour la tâche, contenant un ou plusieurs objets et liée à une modalité, un angle de vue et un moment de prise de vue précis. La perception repère ces zones et en extrait les informations de base : catégorie, attributs, nombre, position. La compréhension les met en regard de conditions sémantiques et de notions spatiales. Le raisonnement relie plusieurs indices par inférence logique.

Exemple tiré de l'article : sur une image de canards, le modèle doit identifier les oiseaux et la clôture, analyser la structure de l'enclos et les traces de présence humaine, puis expliquer pourquoi tous les canards se sont rassemblés dans l'étang.

La prise de vue par drone rend ces tâches plus difficiles que d'ordinaire. Les objets sont petits et serrés, des attributs importants ne tiennent que sur quelques pixels, et un changement d'angle modifie à la fois l'apparence des objets et le système de repères spatiaux. Dans Drone-PUR, plus de 90 % des zones annotées occupent moins de 1 % de la surface de l'image.

Ce que contient le jeu de données

Le benchmark comprend 11 tâches, 175 213 exemples d'entraînement et 20 051 exemples de test. Les entrées sont variées : images isolées, séquences, paires d'images RGB et thermiques (TIR), vues synchronisées de plusieurs drones. Les auteurs ont repris des images de huit de leurs propres jeux de données publiés précédemment et en ont ajouté 66 940 nouvelles. Dix tâches sont évaluées par choix de réponse, tandis que la détection, l'ancrage d'un objet dans sa description (grounding) et le comptage sont vérifiés en format ouvert, c'est-à-dire par prédiction quantitative directe.

Quatre tâches de raisonnement couvrent les explications causales et les déductions sur une situation au sein d'une même image, ainsi que la fusion d'indices issus de modalités et d'angles de vue différents. Les exemples ont été générés avec des VLM, puis vérifiés par recoupement avec d'autres modèles et manuellement, ce qui a demandé plus de 800 heures-homme. La tâche Position Spatial Judgment (PSJ, évaluation de la position relative des objets) est annotée entièrement à la main, et tous les exemples de test ont été contrôlés par des humains.

Résultats de 22 modèles et effet du fine-tuning

Les auteurs ont testé 22 VLM généralistes. Au sein d'une même famille, les modèles les plus grands s'en sortent généralement mieux aux trois niveaux. Les jugements spatiaux font exception : leur qualité ne progresse pas de façon régulière avec la taille, et les prédictions montrent des préférences systématiques pour certaines directions. Les tâches les plus difficiles pour les modèles sont PSJ et le raisonnement multivue (MVR).

D'un modèle à l'autre, une perception forte va de pair avec un raisonnement fort. Les expériences de fine-tuning sur une seule tâche ont révélé un transfert sélectif dans les deux sens : l'entraînement à la recherche et à l'interprétation d'indices améliore le raisonnement, et l'entraînement à la fusion d'indices renforce la perception. Le masquage des zones locales clés et la désactivation de modalités ou d'angles de vue confirment que le raisonnement se dégrade sans les fragments importants et sans observations complémentaires.

UAV-PUR a été entraîné en trois étapes : adaptation de la perception, entraînement conjoint sur toutes les compétences, puis consolidation finale avec uniquement l'apprentissage langagier. Lors des deux premières étapes, trois « têtes » auxiliaires avec supervision géométrique et numérique aident à ancrer les représentations visuelles dans les tâches de prise de vue aérienne. À l'inférence, seule la tête langagière d'origine est utilisée. Les gains les plus importants concernent la mise en correspondance des cibles et l'ancrage à partir de plusieurs sources.

Limites

UAV-PUR reste derrière le meilleur modèle accessible par API sur les tâches de raisonnement pur. L'interprétation spatiale fine, les prédictions fiables en format ouvert et la fusion d'indices issus de sources différentes restent difficiles, même après fine-tuning. La description disponible ne donne ni l'identité des modèles en tête ni les scores absolus ; il vaut donc mieux comparer les résultats à partir des documents du projet sur drone-pur.github.io.

Pour les équipes qui développent de la navigation, de l'inspection ou de la surveillance à partir de VLM, la conclusion principale est pragmatique : sans adaptation à l'imagerie aérienne, les modèles généralistes se trompent sur les petits détails et sur l'espace. Le fine-tuning ciblé apporte un gain net, mais ne comble pas l'écart en raisonnement. Le jeu de données ouvert, avec son échantillon d'entraînement, permet de reproduire cette méthode sur ses propres modèles.