WinARDet лечит зацикливание MLLM-детекторов: F1 вырос с 32,16 до 39,36

Мультимодальные LLM, которые находят объекты по текстовому описанию, плохо переносят плотные сцены. Когда на картинке сотни целей, модель нередко начинает выдавать один и тот же бокс снова и снова, пока не исчерпает лимит декодирования. Авторы WinARDet предлагают механизм Compressed Window Auto-Regression (WinAR), который ломает этот цикл. На бенчмарке RSDense, где на одном изображении от 200 до 2000 объектов, F1 при IoU=0.5 вырос с 32,16 до 39,36 относительно базовой модели RexOmni, а доля избыточных предсказаний упала с 35,48% до 13,00%.

Откуда берётся петля повторов

MLLM-детекторы обычно формулируют grounding как авторегрессионную генерацию координат: модель по одному токену выписывает боксы, и каждый следующий токен зависит от всей предыдущей истории ответа. На сценах с несколькими объектами это работает. В плотных сценах история растёт, и в ней накапливаются координатные токены.

Авторы называют причину сбоя historical-answer attention takeover, то есть «захват внимания историей ответа». Повторяющиеся координаты в растущей истории притягивают непропорционально много внимания. Они вытесняют attention sinks, которые нужны модели, чтобы обращаться к новым визуальным свидетельствам. Модель перестаёт «смотреть» на картинку и продолжает цитировать саму себя. Петля самоподдерживающаяся: чем больше повторов в истории, тем сильнее на них внимание и тем вероятнее очередной дубль.

Как устроено окно со сжатием

WinAR режет длинную последовательность ответа на подряд идущие окна генерации. Полная токенная авторегрессия сохраняется только внутри текущего окна. Каждое предыдущее окно сжимается в фиксированный набор латентных токенов, и именно они служат условием для дальнейшего декодирования.

Логика такая. Сырые координаты прошлых боксов перестают постоянно маячить в контексте, и это снижает триггер захвата внимания. При этом межоконные зависимости не теряются: латентные токены сообщают модели, что уже найдено, и она не начинает заново. Размер представления прошлого для каждого окна фиксирован, поэтому его вклад в контекст не растёт вместе с числом объектов.

Ключевые цифры из работы:

• F1 при IoU=0.5 на RSDense: 32,16 → 39,36 (+7,2 пункта, около 22% относительного прироста);
• доля избыточных предсказаний: 35,48% → 13,00%;
• плотность сцен в бенчмарке: от 200 до 2000 объектов на изображение;
• проверенные режимы: параллельное декодирование боксов и генерация полигонов.

Где это пригодится и что проверить

Сильная сторона работы в том, что метод не привязан к одной схеме вывода. Авторы показывают, что WinARDet переносится между стратегиями декодирования и форматами: он работает и с параллельным декодированием боксов, и с генерацией полигонов. Это важно, потому что сегментационные контуры тоже длинные последовательности координат и страдают от тех же повторов.

Для команд, которые строят детекцию на VLM, вывод практический. Если модель подсчитывает или локализует много мелких объектов (аэроснимки, склады, плотные городские сцены, толпа), стоит отдельно мерить redundancy rate, а не только F1. Дубли в этой метрике видны сразу, а на средних сценах могут не проявляться вовсе. Идея сжатия истории в латентные токены также применима к любой задаче с длинным структурированным выводом.

Есть и оговорки. Абсолютный F1 в 39,36 говорит, что плотный grounding остаётся трудной задачей: большая часть объектов по-прежнему находится неточно или пропускается. Из описания не видно, какой ценой достаётся сжатие по задержке и вычислениям, и нужно ли для него дообучать модель с нуля. Результаты приведены на одном плотном бенчмарке, и для выводов о широкой применимости нужны независимые замеры на других данных. Тем не менее диагноз через attention takeover даёт конкретную точку приложения, и такой подход проще проверить, чем очередное увеличение модели или контекста.