WinARDet corrige o loop de repetição em detectores MLLM: F1 sobe de 32,16 para 39,36

As LLMs multimodais que localizam objetos a partir de uma descrição em texto lidam mal com cenas densas. Quando a imagem tem centenas de alvos, o modelo costuma emitir o mesmo box várias vezes, até esgotar o limite de decodificação. Os autores do WinARDet propõem o mecanismo Compressed Window Auto-Regression (WinAR), que quebra esse ciclo. No benchmark RSDense, com 200 a 2000 objetos por imagem, o F1 com IoU=0.5 subiu de 32,16 para 39,36 em relação ao modelo-base RexOmni, e a taxa de previsões redundantes caiu de 35,48% para 13,00%.

De onde vem o loop de repetições

Os detectores MLLM costumam tratar o grounding como geração autorregressiva de coordenadas: o modelo escreve os boxes token a token, e cada novo token depende de todo o histórico da resposta. Em cenas com poucos objetos, isso funciona. Em cenas densas, o histórico cresce e se enche de tokens de coordenadas.

Os autores chamam a causa da falha de historical-answer attention takeover, ou seja, "captura da atenção pelo histórico da resposta". As coordenadas repetidas no histórico crescente atraem uma parcela desproporcional da atenção. Elas deslocam os attention sinks, de que o modelo precisa para consultar novas evidências visuais. O modelo deixa de "olhar" a imagem e passa a citar a si mesmo. O loop se autoalimenta: quanto mais repetições no histórico, mais atenção elas recebem e maior a chance de a próxima saída ser uma duplicata.

Como funciona a janela com compressão

O WinAR divide a longa sequência da resposta em janelas de geração consecutivas. A autorregressão completa por tokens fica restrita à janela atual. Cada janela anterior é comprimida em um conjunto fixo de tokens latentes, que passam a servir de condição para a decodificação seguinte.

A lógica é esta: as coordenadas brutas dos boxes anteriores deixam de ocupar o contexto o tempo todo, o que reduz o gatilho da captura de atenção. As dependências entre janelas, porém, não se perdem. Os tokens latentes informam ao modelo o que já foi encontrado, e ele não recomeça do zero. O tamanho da representação do passado é fixo para cada janela, então sua contribuição ao contexto não cresce com o número de objetos.

Principais números do trabalho:

• F1 com IoU=0.5 no RSDense: 32,16 → 39,36 (+7,2 pontos, cerca de 22% de ganho relativo);
• taxa de previsões redundantes: 35,48% → 13,00%;
• densidade das cenas no benchmark: de 200 a 2000 objetos por imagem;
• modos testados: decodificação paralela de boxes e geração de polígonos.

Onde isso pode ser útil e o que verificar

O ponto forte do trabalho é que o método não depende de um único esquema de saída. Os autores mostram que o WinARDet se transfere entre estratégias de decodificação e formatos: funciona tanto com decodificação paralela de boxes quanto com geração de polígonos. Isso importa porque os contornos de segmentação também são longas sequências de coordenadas e sofrem com as mesmas repetições.

Para equipes que constroem detecção sobre VLMs, a conclusão é prática. Se o modelo conta ou localiza muitos objetos pequenos (imagens aéreas, depósitos, cenas urbanas densas, multidões), vale medir a redundancy rate separadamente, e não apenas o F1. As duplicatas aparecem de imediato nessa métrica, mas podem nem se manifestar em cenas de densidade média. A ideia de comprimir o histórico em tokens latentes também se aplica a qualquer tarefa com saída longa e estruturada.

Há ressalvas. Um F1 absoluto de 39,36 mostra que o grounding denso continua sendo uma tarefa difícil: a maior parte dos objetos ainda é localizada com imprecisão ou simplesmente não é detectada. A descrição não deixa claro qual é o custo da compressão em latência e computação, nem se é preciso retreinar o modelo do zero para usá-la. Os resultados vêm de um único benchmark denso, e conclusões sobre aplicabilidade ampla exigem medições independentes em outros dados. Ainda assim, o diagnóstico baseado em attention takeover oferece um ponto de ataque concreto, e essa abordagem é mais fácil de testar do que mais um aumento do modelo ou do contexto.