OBB-PBD apprend à LocateAnything-3B à localiser des objets pivotés : le rotIoU grimpe de 0,125 à 0,303

L'équipe de Chang Woo Song et Yeong Jun Koh, de l'université nationale de Chungnam, a appris au modèle LocateAnything-3B à localiser sur des images aériennes des objets décrits par du texte et à les entourer directement de rectangles orientés. Sur le benchmark AVVG, le rotIoU moyen grimpe de 0,1253 pour la base zero-shot à 0,303 ± 0,012 (moyenne et écart-type sur trois graines d'entraînement). Les travaux sont publiés dans la revue Remote Sensing, volume 18, numéro 20, article 3535. Le code et les 9 checkpoints sont disponibles en libre accès.

Pourquoi une boîte horizontale ne convient pas à une vue aérienne

Sur des photos classiques, les objets sont le plus souvent orientés plus ou moins verticalement, et une boîte horizontale à quatre coordonnées fonctionne correctement. Sur les images prises par drone ou satellite, c'est une autre histoire. Une voiture sur un parking ou à un échangeur peut être orientée selon n'importe quel angle, et une boîte alignée sur les axes englobe alors beaucoup de fond et de véhicules voisins. La métrique d'intersection chute en conséquence.

La plupart des modèles de grounding produisent en outre les coordonnées de façon séquentielle, jeton par jeton. Le Parallel Box Decoding (PBD), intégré à LocateAnything-3B, fonctionne différemment : tous les emplacements géométriques sont prédits en un seul passage direct. Mais le bloc n'est conçu que pour quatre nombres. La tâche des auteurs consistait à intégrer l'angle dans cette interface par blocs sans en sacrifier la vitesse.

Six emplacements au lieu de quatre

La boîte orientée est désormais décrite par six valeurs : cx, cy, w, h, sin2θ et cos2θ. L'angle est codé via un argument double. Pour un rectangle, une rotation de 180° donne la même figure, de sorte qu'une prédiction directe de θ crée une discontinuité aux bornes de l'intervalle. La paire sin2θ et cos2θ lève cette ambiguïté, l'angle lui-même étant ensuite reconstruit à partir de ces deux nombres. Le décodage reste effectué en un seul passage.

La méthodologie de vérification mérite une attention particulière. Les auteurs précisent qu'ils n'ont pas voulu se contenter d'une courbe de perte décroissante. Ils ont mené des contrôles avec permutation des images et des prompts, ainsi que des tests de visibilité et de fuite d'information. Ils montrent ainsi que le modèle corrigé s'appuie à la fois sur l'image et sur le texte de la requête, et non uniquement sur les statistiques des prompts. Dans un domaine où il est facile d'obtenir une belle courbe de perte pour un modèle inutile, cette hygiène méthodologique compte.

Ce que montrent les chiffres

• Benchmark : AVVG (aerial vehicle visual grounding), les cibles sont effectivement orientées selon des angles variés.
• Ensemble de test : l'ensemble complet des 6139 entrées sur les 120 images.
• Base zero-shot : rotIoU de 0,1253.
• OBB-PBD : rotIoU de 0,303 ± 0,012 sur trois graines.
• Apport de l'orientation : entraîner le modèle sur les boîtes réellement orientées, et non sur leurs enveloppes alignées sur les axes, apporte +0,055 ± 0,008 de rotIoU par rapport au contrôle apparié. Les intervalles de confiance à 95 % de chaque graine excluent zéro.
• La seule extension du bloc (block expansion), sans apprentissage de l'orientation, n'apporte aucun gain de rotIoU distinguable de zéro.
• Format de la boîte : (cx, cy, w, h, sin2θ, cos2θ).
• Modèle de base : LocateAnything-3B avec Parallel Box Decoding.
• Publication : Remote Sensing 18(20), 3535 ; publication du code et de 9 checkpoints.

Ce dernier point est le plus instructif. Le gain ne vient pas d'une surcouche architecturale, mais de ce sur quoi le modèle est entraîné. Lui donner des emplacements supplémentaires sans l'entraîner sur des boîtes réellement orientées ne change rien au résultat.

Ce qu'on peut en retirer concrètement

Le rotIoU absolu de 0,303 reste loin du plafond. Il s'agit davantage d'un point de départ exploitable que d'un produit prêt à l'emploi pour la surveillance de territoires. Il présente néanmoins plusieurs avantages pratiques. L'approche convient aux équipes travaillant sur de l'imagerie aérienne et satellite : recherche de véhicules à partir d'une description, inventaire de parkings, analyse du trafic. Les checkpoints en libre accès permettent de ne pas entraîner un modèle depuis zéro, mais de le comparer à sa propre base sur ses propres données. Le schéma sin2θ/cos2θ se transpose aussi à d'autres décodeurs par blocs devant intégrer un angle sans casser l'interface à un seul passage.

Il vaut aussi la peine de reproduire la méthodologie de contrôle. Le contrôle apparié aligné sur les axes et la permutation des images et des prompts permettent de distinguer l'apport réel de l'orientation de l'effet de simples paramètres supplémentaires. Pour tout travail de grounding dans des domaines non standards, c'est un moyen peu coûteux de vérifier que le modèle regarde réellement l'image.