La NUS apprend à un modèle à retrouver ce qu'il a décrit : le gIoU passe de 57,5 % à 68,2 %

Des chercheurs de l'Université nationale de Singapour présentent Generalized CycleGRPO, une méthode d'apprentissage par renforcement dans laquelle un modèle de langage multimodal apprend simultanément à décrire une région sélectionnée et à la localiser à partir d'une description textuelle. La méthode couvre les configurations spatiale, temporelle et spatio-temporelle. Sur GroundingSuite, elle fait passer le gIoU global du modèle SAMTok de 57,5% à 68,2%, et sur GRES, le gIoU moyen est passé de 71,2% à 78,7%. Les auteurs de l'étude sont Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li et Dacheng Tao. L'article prolonge CycleGRPO, accepté à l'ECCV26.

Une description qui doit permettre de retrouver la région

La compréhension multimodale fine exige deux compétences. La première consiste à expliquer ce que contient une zone donnée d'une image ou d'une vidéo. La seconde, à retrouver cette zone à partir d'une phrase. Ces deux tâches sont généralement entraînées séparément, chacune avec ses propres fonctions de perte et ses propres données annotées.

Generalized CycleGRPO les referme en boucle. On donne une région au modèle, qui génère plusieurs descriptions candidates. Chaque description est ensuite renvoyée en entrée, et le modèle tente de reconstituer la région d'origine. La concordance entre la zone reconstituée et l'original fournit une récompense vérifiable pour la qualité de la légende. Des récompenses de localisation distinctes améliorent le mapping inverse, du texte vers la région.

Ce schéma n'utilise aucune légende de référence et ne nécessite pas non plus de modèle de langage externe faisant office de juge. C'est la tâche elle-même qui valide la description : si le texte ne permet pas de retrouver la région d'origine, la description est mauvaise.

Des masques sur l'image aux intervalles dans la vidéo

La principale astuce d'ingénierie est un espace de régions commun. Pour les images, la région est un masque ou une boîte englobante. Pour la vidéo, il s'agit d'un intervalle temporel et d'indices spatiaux accompagnés d'horodatages. La même boucle fonctionne dans les trois domaines : spatial, temporel et spatio-temporel.

En vidéo, la boucle produit un effet supplémentaire. Quand un événement se répète, par exemple une personne qui ouvre plusieurs fois la même porte, une légende vague correspond à n'importe quelle occurrence, et la localisation qui s'appuie sur elle échoue. La récompense pousse le modèle à écrire des descriptions qui distinguent l'épisode visé des épisodes similaires.

Pour vérifier cette propriété, les auteurs ont créé DOVE (Distinctive Occurrence-level Video-caption Evaluation), un benchmark contrastif validé par des humains. Il mesure dans quelle mesure une légende désigne sans ambiguïté une occurrence précise d'un événement.

Les chiffres sur l'ensemble des benchmarks

• GroundingSuite : le gIoU global de SAMTok passe de 57,5% à 68,2% (+10,7 p.p.).
• GRES : le gIoU moyen passe de 71,2% à 78,7% (+7,5 p.p.).
• Charades : 51,9% de tIoU, contre 45,6% pour l'initialisation Qwen3-VL.
• DOVE : 33,3% de Temporal Evidence Coverage, contre 14,8% pour Qwen3-VL, soit plus du double.

Pour les tâches temporelles, la base retenue est Qwen3-VL ; pour les tâches spatiales, la comparaison se fait avec SAMTok. Le bond le plus net s'observe sur DOVE, c'est-à-dire précisément sur la capacité à distinguer des événements répétés.

À quoi cela peut servir

L'intérêt principal de la méthode est qu'elle supprime la dépendance à une annotation coûteuse. La segmentation par texte, l'ancrage de phrases sur des objets et la recherche de moments dans une vidéo exigent généralement des paires « région — description », annotées à la main ou générées par un puissant modèle enseignant. La boucle tire son signal d'apprentissage de la structure même de la tâche.

En pratique, cela intéresse les équipes qui développent de l'analyse vidéo, de la recherche dans des enregistrements de caméras et des outils d'édition. Il s'agit alors de retrouver, à partir d'une phrase comme « la deuxième fois que le coursier dépose un colis », l'extrait exact et l'objet concerné. Pour la robotique et les agents qui agissent dans des interfaces et dans un environnement physique, l'ancrage du langage sur une zone précise compte tout autant.

Les auteurs ont publié les modèles, le code et le benchmark DOVE sur la page du projet : les résultats peuvent donc être vérifiés sur ses propres données. Ils proposent l'idée de cohérence cyclique « région — texte » comme principe général d'auto-évaluation pour les modèles multimodaux.