Обзор Shengqiong Wu и Hao Fei: 600+ работ о видеомоделях как моделях мира

Видеомодели последние годы развивались тремя параллельными ветками: одни учились понимать ролики, другие генерировать, третьи предсказывать динамику мира. Команда Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr и Hao Fei собрала эти ветки в один обзор. Он охватывает более 600 работ, разложенных по 19 таблицам, и предлагает общий вопрос для всех направлений: какую связь модель выучивает между наблюдаемым видео и миром, который это видео породил.

Видео как обрубок мира

Исходная метафора простая. Видео является частичным, сжатым с потерями и упорядоченным во времени следом мира, который продолжает меняться, даже когда камера туда не смотрит. Машина заехала за стену, в кадре пусто, но в мире она существует. Модель, которая этого не учитывает, может выдавать красивую картинку и при этом не иметь никакого представления о происходящем.

Отсюда ключевое различие обзора. Временная когерентность, то есть гладкость кадров, относится к самому следу. Согласованность мира относится к тому, что этот след подразумевает. Одно не вытекает из другого, а большинство нынешних метрик проверяет только когерентность.

Четыре операции вместо трёх сообществ

Литература разложена по четырём взаимодополняющим операциям, у каждой есть определение и собственные критерии оценки:

• Reading: из видео выводится состояние мира (понимание, распознавание, восстановление свойств сцены).
• Writing: по заданным или выученным условиям синтезируется видео (генерация).
• Sharing: одна модель и читает, и пишет, а понимание и генерация объединены общими механизмами моделирования.
• Interacting: состояние мира предсказывается и обновляется под действиями и меняющимися наблюдениями.

Отдельно дана таксономия видео-моделей мира по двум осям. Первая ось — пространство предсказания: наблюдения или латентное состояние. Вторая — интерфейс переходов: пассивный, обусловленный действиями или интерактивный. Sora, V-JEPA и Genie 3 занимают в этой сетке каждый свою клетку, и ни одна из моделей не покрывает её целиком.

Лестница доказательств и семь нерешённых задач

Авторы предлагают четыре ступени, по которым стоит оценивать заявки на «мировую модель»:

1. правдоподобный результат; 2. верность заданным условиям; 3. согласованное состояние мира; 4. полезность для принятия решений.

По мнению авторов, чтобы называть систему мировой моделью, нужна как минимум третья ступень. Правдоподобное видео и даже точное следование промпту её не заменяют.

Семь открытых проблем сформулированы вместе с направлением методов и протоколом оценки для каждой:

• согласованность на длинном горизонте;
• физическая и причинная обоснованность;
• измеримый синергетический эффект от объединения понимания и генерации;
• стандартизированная оценка;
• управление, выученное из неразмеченного видео;
• обобщение на новые сцены и воплощения (embodiment);
• стохастические миры и редкие события.

Общий сдвиг, который прослеживает обзор, идёт от распознавания на уровне клипа и перцептивной точности к устойчивому состоянию, управляемой эволюции сцены, физической и причинной корректности и оценке через взаимодействие и последующие решения. Для масштабирования мировых моделей, как подчёркивают авторы, нужны интервенции, а не просто больше роликов: наблюдение само по себе не показывает, что произойдёт при другом действии.

Как этим пользоваться

Обзор полезен как чеклист при чтении очередного релиза видеомодели. Если в анонсе есть только красивые демо и FVD-подобные метрики, перед нами первая-вторая ступень лестницы. Вопросы, которые стоит задавать разработчикам: сохраняется ли объект за кадром, меняется ли состояние сцены под действием агента, проверялась ли модель на решениях в downstream-задачах, например в робототехнике или планировании.

Команде, которая выбирает направление исследований или инвестиций, семь проблем дают готовую карту пустых мест. Длинная память, причинность и обучение управлению на неразмеченном видео остаются самыми слабыми участками, и именно там работы пока меньше всего.

Проектная страница обзора: vid-gen.github.io/video-world-model-survey, список работ ведётся в репозитории vid-gen/awesome-video-world-model на GitHub. Авторы просят присылать пропущенные работы. Статья вышла 22 октября 2026 года и вошла в ежедневную подборку Hugging Face Papers, где набрала 218 апвоутов.