NUS научил модель искать то, что она описала: gIoU вырос с 57,5% до 68,2%

Исследователи из Национального университета Сингапура представили Generalized CycleGRPO — обучение с подкреплением, в котором мультимодальная языковая модель одновременно учится описывать выделенный регион и находить его по текстовому описанию. Метод охватывает пространственную, временную и пространственно-временную постановки. На GroundingSuite он поднимает общий gIoU модели SAMTok с 57,5% до 68,2%, а на GRES средний gIoU вырос с 71,2% до 78,7%. Авторы работы: Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li и Dacheng Tao. Статья продолжает CycleGRPO, принятую на ECCV26.

Описание, которое должно привести обратно

Тонкое мультимодальное понимание требует двух навыков. Первый — объяснить, что находится в заданной области кадра или видео. Второй — по фразе найти эту область. Обычно эти направления обучают отдельно: у каждого свои функции потерь и свои размеченные данные.

Generalized CycleGRPO замыкает их в цикл. Модели дают регион, и она генерирует несколько кандидатов описания. Затем каждое описание подаётся обратно на вход, и модель пытается восстановить исходный регион. Совпадение восстановленной области с оригиналом даёт проверяемую награду за качество подписи. Отдельные награды за локализацию улучшают обратное отображение: от текста к области.

Эталонных подписей в этой схеме нет, внешняя языковая модель в роли судьи тоже не нужна. Проверяет описание сама задача: если по тексту нельзя найти исходный регион, описание плохое.

От масок на картинке к интервалам в видео

Главный инженерный ход — общее пространство регионов. Для изображений регионом служат маска или рамка. Для видео это временной интервал и пространственные свидетельства с временными метками. Один и тот же цикл работает во всех трёх доменах: пространственном, временном и пространственно-временном.

В видео у цикла есть дополнительный эффект. Если событие повторяется, например человек несколько раз открывает ту же дверь, расплывчатая подпись подойдёт к любому повтору, и локализация по ней промахнётся. Награда подталкивает модель писать описания, которые отличают целевой эпизод от похожих.

Для проверки этого свойства авторы создали DOVE (Distinctive Occurrence-level Video-caption Evaluation) — контрастный бенчмарк с проверкой людьми. Он измеряет, насколько подпись однозначно указывает на конкретное вхождение события.

Цифры по всем бенчмаркам

• GroundingSuite: общий gIoU SAMTok вырос с 57,5% до 68,2% (+10,7 п.п.).
• GRES: средний gIoU вырос с 71,2% до 78,7% (+7,5 п.п.).
• Charades: 51,9% tIoU против 45,6% у инициализации Qwen3-VL.
• DOVE: 33,3% Temporal Evidence Coverage против 14,8% у Qwen3-VL — более чем вдвое.

На временных задачах за основу взят Qwen3-VL, на пространственных сравнение идёт с SAMTok. Самый резкий скачок виден на DOVE, то есть именно на способности различать повторяющиеся события.

Где это пригодится

Главная ценность метода в том, что он убирает зависимость от дорогой разметки. Сегментация по тексту, привязка фраз к объектам и поиск моментов в видео обычно требуют пар «регион — описание», которые размечают вручную или генерируют сильной моделью-учителем. Цикл даёт сигнал обучения из самой структуры задачи.

Практически это интересно командам, которые строят видеоаналитику, поиск по записям камер и редакторские инструменты. Там нужно по фразе вроде «второй раз, когда курьер оставляет посылку» найти точный фрагмент и объект. Для робототехники и агентов, которые действуют в интерфейсах и физической среде, привязка языка к конкретной области важна не меньше.

Авторы опубликовали модели, код и бенчмарк DOVE на странице проекта, так что результаты можно проверить на своих данных. Идею цикловой согласованности «регион — текст» они предлагают как общий принцип самооценки для мультимодальных моделей.