VMem-Bench показал: память в видеогенераторах роняет точность до 0,845

Генераторы длинных видео всё чаще достают из истории прошлые кадры, чтобы герой не менял лицо от сцены к сцене. Звучит логично: чем больше доступ к прошлому, тем стабильнее будущее. Команда Yuzhuo Chen, Huafeng Shi, Xinyu Wang, Yulong Xu, Yucheng Wang, Haoqin Hong, Guoxin Zhang, Zehua Ma и Weiming Zhang проверила это допущение на бенчмарке VMem-Bench. Память действительно поднимает recall сущностей с 0,559 до 0,628–0,693. Но за это приходится платить: precision падает с 0,977 до 0,915–0,938, а способность не рисовать запрещённых персонажей и объекты проседает с 0,968 до 0,845–0,898.

Картинка верна прошлому и неверна настоящему

Главная идея работы проста: изображение может точно соответствовать тому, что было раньше, и при этом быть ошибкой для текущего момента истории. Герой сменил одежду, получил шрам, потерял предмет, а система памяти услужливо подаёт генератору старый референс. В результате модель воспроизводит устаревший облик, который сюжет уже отменил.

Авторы показали, что именно так и происходит. Поиск по истории усиливает устаревшие внешности после того, как история их изменила. Сходство с прошлыми появлениями при этом растёт, и по метрикам «консистентности» всё выглядит прекрасно. Проблема в том, что консистентность относительно прошлого и корректность относительно текущего сюжета измеряют разные вещи.

Два трека, чтобы развести выбор референсов и работу генератора

VMem-Bench устроен как диагностическое исследование из двух частей.

• Track-A оценивает, какие референсы выбираются из истории, до всякой генерации и без влияния самого генератора. Материал: 92 реальных фильма, 16 548 сегментов.
• Track-B сравнивает четыре политики поиска с двумя контрольными вариантами на одном и том же генераторе. Материал: 30 причинно выстроенных историй, 2 824 сегмента. Контроли: вариант без памяти и вариант «последнее увиденное» с подсказкой из эталонной разметки.

Такое разделение убирает главную путаницу в этой области. Когда видео получилось хорошим, непонятно, помог ли удачный выбор референса или генератор справился сам. Track-A отвечает на первый вопрос отдельно.

Ловушка long-gap recall

Есть и обратный эффект. Высокий recall на длинных промежутках между появлениями героя может возникать вовсе без памяти, если сам промпт уже описывает внешность. Модель рисует нужного героя, потому что ей это написали, а не потому что она «вспомнила». Чтобы это вскрыть, авторы применили анализ с удалением описаний внешности из промптов. Без такой проверки выигрыш можно ошибочно приписать механизму памяти.

Ключевые цифры

• Recall сущностей: 0,559 без памяти → 0,628–0,693 с поиском по истории.
• Precision: 0,977 без памяти → 0,915–0,938 с памятью.
• Избегание запрещённых сущностей: 0,968 без памяти → 0,845–0,898 с памятью.
• Объём Track-A: 92 фильма, 16 548 сегментов.
• Объём Track-B: 30 историй, 2 824 сегмента, 4 политики поиска, 2 контроля.
• Побочный эффект: закрепление устаревших облик��в после изменений в сюжете.

Что менять в пайплайнах

Для команд, которые строят длинные видео, сериалы, рекламные цепочки или игровые ролики, вывод практический. Релевантность найденного референса и итоговая консистентность видео сами по себе не доказывают пользу памяти. Нужны отдельные метрики precision и «запретных» сущностей, иначе деградация остаётся невидимой.

Память стоит привязывать к состоянию сюжета, а не только к визуальной близости: поиск должен знать, что герой уже переоделся, а предмет исчез. Тестировать нужно с контролем «без памяти» и с вариантом с вычищенными из промпта описаниями внешности, иначе можно принять работу промпта за работу памяти. Код и страница проекта открыты: репозиторий Suchenl/VMem-Bench на GitHub, статья на arXiv под номером 2610.35001.