WinARDet cura los bucles de los detectores MLLM: el F1 sube de 32,16 a 39,36

Los LLM multimodales que localizan objetos a partir de una descripción de texto soportan mal las escenas densas. Cuando una imagen contiene cientos de objetivos, el modelo suele emitir el mismo bounding box una y otra vez hasta agotar el límite de decodificación. Los autores de WinARDet proponen un mecanismo, Compressed Window Auto-Regression (WinAR), que rompe ese ciclo. En el benchmark RSDense, donde cada imagen contiene entre 200 y 2000 objetos, el F1 con IoU=0.5 subió de 32,16 a 39,36 respecto al modelo base RexOmni, y la proporción de predicciones redundantes bajó del 35,48% al 13,00%.

De dónde surge el bucle de repeticiones

Los detectores MLLM suelen plantear el grounding como una generación autorregresiva de coordenadas: el modelo escribe los bounding boxes token a token, y cada token depende de todo el historial previo de la respuesta. Con pocos objetos en la escena, esto funciona. En escenas densas, el historial crece y acumula tokens de coordenadas.

Los autores llaman a la causa del fallo historical-answer attention takeover, es decir, «captura de la atención por el historial de la respuesta». Las coordenadas repetidas en el historial creciente atraen una cantidad desproporcionada de atención. Desplazan a los attention sinks, que el modelo necesita para consultar nueva evidencia visual. El modelo deja de «mirar» la imagen y se dedica a citarse a sí mismo. El bucle se retroalimenta: cuantas más repeticiones hay en el historial, más atención reciben y más probable es el siguiente duplicado.

Cómo funciona la ventana con compresión

WinAR divide la secuencia larga de la respuesta en ventanas de generación consecutivas. La autorregresión completa a nivel de token se mantiene solo dentro de la ventana actual. Cada ventana anterior se comprime en un conjunto fijo de tokens latentes, y son estos los que sirven de condición para seguir decodificando.

La lógica es la siguiente. Las coordenadas en bruto de los bounding boxes anteriores dejan de estar permanentemente presentes en el contexto, y eso reduce el detonante de la captura de atención. Aun así, no se pierden las dependencias entre ventanas: los tokens latentes le indican al modelo qué se ha encontrado ya, de modo que no empieza de cero. El tamaño de la representación del pasado es fijo para cada ventana, por lo que su aportación al contexto no crece con el número de objetos.

Cifras clave del trabajo:

• F1 con IoU=0.5 en RSDense: 32,16 → 39,36 (+7,2 puntos, alrededor de un 22% de mejora relativa);
• proporción de predicciones redundantes: 35,48% → 13,00%;
• densidad de escenas del benchmark: de 200 a 2000 objetos por imagen;
• modos probados: decodificación paralela de bounding boxes y generación de polígonos.

Dónde puede resultar útil y qué conviene verificar

La principal fortaleza del trabajo es que el método no está ligado a un único esquema de salida. Los autores muestran que WinARDet se traslada entre estrategias de decodificación y formatos: funciona tanto con decodificación paralela de bounding boxes como con generación de polígonos. Esto importa porque los contornos de segmentación también son secuencias largas de coordenadas y sufren las mismas repeticiones.

Para los equipos que construyen detección sobre VLM, la conclusión es práctica. Si el modelo cuenta o localiza muchos objetos pequeños (imágenes aéreas, almacenes, escenas urbanas densas, multitudes), conviene medir por separado la redundancy rate y no limitarse al F1. Los duplicados se aprecian de inmediato en esa métrica, mientras que en escenas de densidad media pueden no aparecer en absoluto. La idea de comprimir el historial en tokens latentes también es aplicable a cualquier tarea con salidas largas y estructuradas.

Hay también reservas. Un F1 absoluto de 39,36 indica que el grounding denso sigue siendo una tarea difícil: la mayoría de los objetos aún se localiza con imprecisión o se omite. La descripción no aclara qué coste en latencia y en cómputo tiene la compresión, ni si requiere reentrenar el modelo desde cero. Los resultados se han obtenido en un único benchmark denso, y para concluir que el método es ampliamente aplicable hacen falta mediciones independientes con otros datos. Aun así, el diagnóstico basado en el attention takeover señala un punto concreto sobre el que actuar, y este enfoque es más fácil de comprobar que otro aumento del tamaño del modelo o del contexto.