RTAformer учит модель замечать смену отношений между объектами в видео

Модели, которые описывают видео в виде графа «субъект — отношение — объект», упираются в проблему, которую в лоб не решить усреднением по кадрам. Команда исследователей представила RTAformer, одноэтапный трансформер для Video Scene Graph Generation (VidSGG), который отдельно моделирует устойчивость объектов и резкие смены отношений между ними. На бенчмарке Action Genome он обгоняет существующие методы по Recall и mean Recall, а на кадрах, где отношение действительно меняется, преимущество заметнее, чем на остальных.

Почему модель застревает в прошлом кадре

VidSGG решает две задачи сразу. Нужно понимать, что человек в кадре и тот же человек пять кадров назад — один и тот же объект. И нужно фиксировать, что делает этот человек с окружающими предметами: держит чашку, ставит её на стол, отпускает. Первая задача требует стабильности, вторая — чуткости к переменам.

Большинство современных подходов агрегируют информацию по кадрам, чтобы использовать временной контекст. Это помогает сглаживать шум и пропущенные детекции. Но у такого сглаживания есть побочный эффект: акцент на консистентности размывает именно те моменты, где что-то меняется. Модель продолжает выдавать прежний предикат, хотя связь между объектами уже другая. Авторы называют эту ошибку relational semantic inertia, то есть реляционная семантическая инерция.

В реальных видео переходы как раз самые информативные точки. Человек взял предмет, открыл дверь, сел на стул — для downstream-задач важны не десятки одинаковых кадров, а момент смены отношения.

Разность запросов вместо усреднения

RTAformer разводит два потока информации. Идентичность сущностей остаётся «медленной» компонентой: объект должен узнаваться от кадра к кадру. Динамика отношений становится «быстрой» компонентой, и для неё модель использует не общий контекст, а различие.

Конкретно, фреймворк берёт запросы отношений (relation queries) соседних кадров, считает разницу между ними и калибрует её. Эта откалиброванная разность добавляется в процесс и направляет обновление предиката. Если запросы почти не отличаются, предикат остаётся прежним. Если отличие значимо, модель получает явный сигнал, что пора переключаться.

Второй компонент работает только на обучении. Это кросс-кадровое выравнивание экземпляров (cross-frame instance alignment): представления одного и того же объекта в разных кадрах подтягиваются друг к другу. Так уменьшается дрейф представлений, из-за которого идентичность могла бы «плыть» вместе с изменением отношений. Благодаря этому усиленная чувствительность к переходам не ломает устойчивость объектов.

Подход одноэтапный: детекция объектов и предсказание отношений выполняются в единой модели, а не в связке из отдельного детектора и классификатора отношений. Для видео это важно, потому что ошибки раздельных стадий накапливаются.

Что показали эксперименты

Авторы проверяли RTAformer на Action Genome, стандартном бенчмарке для VidSGG.

• Метрики: Recall и mean Recall, причём mean Recall важен для редких предикатов.
• Результат: улучшение по обеим метрикам относительно существующих методов.
• Абляции: каждый из предложенных компонентов даёт вклад в итоговое качество.
• Сравнение на одинаковых backbone: прирост на кадрах со сменой отношения больше, чем на кадрах без неё.

Последний пункт важнее общих цифр. Он показывает, что выигрыш получен не за счёт более мощной базовой сети и не за счёт простых случаев, где отношение держится долго. Метод действительно лечит заявленную болезнь, а не просто поднимает среднюю оценку.

Где это пригодится

Графы сцен нужны там, где системе недостаточно списка объектов в кадре. Роботу-помощнику важно не только видеть чашку и руку, но и отличать «взял» от «отпустил». Системам видеоаналитики, поиска по видео и генерации описаний нужны события, а не статичные снимки. Мультимодальным моделям, которым подают видео, структурированный граф может служить компактным промежуточным представлением.

Практический вывод для тех, кто строит такие системы: при обработке видео стоит оценивать модель отдельно на переходных кадрах. Средний Recall по всему набору легко скрывает инерцию, потому что большинство кадров как раз «спокойные». Идея разности соседних запросов реализуется сравнительно дёшево и теоретически переносима на другие задачи, где состояние меняется скачками: распознавание действий, трекинг взаимодействий, анализ манипуляций в роботике. Насколько хорошо она масштабируется за пределы Action Genome, покажут независимые проверки на других датасетах.