WinARDet corrige la boucle de répétition des détecteurs MLLM : le F1 passe de 32,16 à 39,36

Les LLM multimodaux qui localisent des objets à partir d'une description textuelle gèrent mal les scènes denses. Quand une image compte des centaines de cibles, le modèle se met souvent à produire la même boîte en boucle, jusqu'à épuisement de sa limite de décodage. Les auteurs de WinARDet proposent un mécanisme, Compressed Window Auto-Regression (WinAR), qui brise cette boucle. Sur le benchmark RSDense, où chaque image contient de 200 à 2000 objets, le F1 à IoU=0.5 passe de 32,16 à 39,36 par rapport au modèle de base RexOmni, tandis que la part de prédictions redondantes tombe de 35,48% à 13,00%.

D'où vient la boucle de répétitions

Les détecteurs MLLM formulent généralement le grounding comme une génération autorégressive de coordonnées : le modèle écrit les boîtes token par token, et chaque nouveau token dépend de tout l'historique de la réponse. Sur des scènes comportant quelques objets, cela fonctionne. Dans les scènes denses, l'historique s'allonge et se remplit de tokens de coordonnées.

Les auteurs nomment la cause de la défaillance historical-answer attention takeover, soit « captation de l'attention par l'historique de la réponse ». Les coordonnées répétées dans l'historique croissant attirent une part disproportionnée de l'attention. Elles évincent les attention sinks, dont le modèle a besoin pour s'appuyer sur de nouveaux indices visuels. Le modèle cesse de « regarder » l'image et continue de se citer lui-même. La boucle s'auto-entretient : plus l'historique contient de répétitions, plus l'attention s'y porte, et plus un nouveau doublon devient probable.

Comment fonctionne la fenêtre à compression

WinAR découpe la longue séquence de réponse en fenêtres de génération consécutives. L'autorégression complète sur les tokens n'est conservée qu'à l'intérieur de la fenêtre courante. Chaque fenêtre précédente est compressée en un ensemble fixe de tokens latents, et ce sont eux qui servent de condition pour la suite du décodage.

La logique est la suivante. Les coordonnées brutes des boîtes passées ne figurent plus en permanence dans le contexte, ce qui réduit le déclencheur de la captation d'attention. Les dépendances entre fenêtres ne sont pas perdues pour autant : les tokens latents indiquent au modèle ce qui a déjà été trouvé, et il ne repart pas de zéro. La taille de la représentation du passé est fixe pour chaque fenêtre, si bien que sa contribution au contexte ne croît pas avec le nombre d'objets.

Les chiffres clés de l'étude :

• F1 à IoU=0.5 sur RSDense : 32,16 → 39,36 (+7,2 points, soit environ 22% de gain relatif) ;
• part de prédictions redondantes : 35,48% → 13,00% ;
• densité des scènes du benchmark : de 200 à 2000 objets par image ;
• modes testés : décodage parallèle de boîtes et génération de polygones.

À quoi cela peut servir et ce qu'il faut vérifier

Le point fort de ce travail est que la méthode n'est pas liée à un seul schéma de sortie. Les auteurs montrent que WinARDet se transpose d'une stratégie de décodage et d'un format à l'autre : il fonctionne aussi bien avec le décodage parallèle de boîtes qu'avec la génération de polygones. C'est important, car les contours de segmentation sont eux aussi de longues séquences de coordonnées et souffrent des mêmes répétitions.

Pour les équipes qui construisent de la détection sur des VLM, la conclusion est pratique. Si le modèle compte ou localise de nombreux petits objets (images aériennes, entrepôts, scènes urbaines denses, foule), il vaut mieux mesurer séparément le redundancy rate, et pas seulement le F1. Les doublons apparaissent immédiatement dans cette métrique, alors qu'ils peuvent ne pas se manifester du tout sur des scènes de densité moyenne. L'idée de compresser l'historique en tokens latents s'applique aussi à toute tâche qui produit une longue sortie structurée.

Il y a aussi des réserves. Un F1 absolu de 39,36 montre que le grounding dense reste une tâche difficile : la plupart des objets sont encore localisés de façon imprécise ou manqués. La description ne permet pas de savoir ce que la compression coûte en latence et en calcul, ni si elle exige de réentraîner le modèle depuis zéro. Les résultats portent sur un seul benchmark dense, et il faudrait des mesures indépendantes sur d'autres données pour conclure à une applicabilité large. Néanmoins, le diagnostic par attention takeover désigne un point d'action concret, et cette approche est plus simple à vérifier qu'un énième agrandissement du modèle ou du contexte.