MIST показал: видео-модели мира не забывают, а не выполняют команду

Низкий балл видео-модели мира в тесте на память принято читать как забывчивость. Авторы работы «Execution Before Memory» считают, что это неверный вывод. Они предложили оценку MIST, которая разделяет постановку сцены, выполнение запрошенного изменения и итоговый результат в последнем кадре. Диагноз у них другой: модель сцену строит, но заказанное действие не совершает. Метод M3-Agent (Make the Missing Move) уточняет инструкцию и поднимает MIST reveal score более чем втрое. На бенчмарке WRBench метрика T растёт на 26,1%, на MBench-T метрика U на 52,7%.

Один балл на три вопроса

Тесты памяти для видео-моделей обычно устроены так. Модели показывают сцену, просят что-то изменить, а затем оценивают итоговый кадр одним числом. Это число смешивает три разных вещи: была ли сцена поставлена, выполнено ли изменение и виден ли результат в финале.

Проблема в логике. Если изменение не произошло, скрытому переходу состояния просто неоткуда появиться. Проверять тогда нечего: память не подвели, её не успели задействовать. Оценка получается низкой, и читатель записывает это в забывчивость, хотя причина лежит раньше по цепочке.

Как устроен MIST

MIST разводит изменение и память, которую оно должно оставить. Сначала модель ставит сцену, а изменение остаётся скрытым. Только потом её просят его показать. При этом утечки информации о скрытом изменении до этого момента держатся под контролем, иначе результат нельзя трактовать однозначно.

Такая развязка показывает, где именно ломается процесс. По результатам авторов, модель справляется с постановкой сцены, но не выполняет инструктированное изменение. Тот же разрыв они находят и в общих оценках памяти, то есть проблема не ограничена одним специальным тестом.

M3-Agent: чинить инструкцию, а не модель

На этой основе авторы предлагают M3-Agent. Он рекурсивно пересматривает детали входной инструкции, пока модель не выполнит запрошенное. Базовая модель при этом остаётся замороженной. Метод заходит со стороны исполнения: показывает, на что способна модель, когда нужное действие сформулировано явно.

Заявленные результаты:

• MIST reveal score: более чем в три раза выше базовой линии;
• WRBench, метрика T: +26,1%;
• MBench-T, метрика U: +52,7%;
• веса модели не меняются, работа идёт на уровне инструкции.

В аннотации нет абсолютных значений и списка протестированных моделей. Относительные приросты нужно сверять с полным текстом статьи. Авторы также называют результат более строгой базовой линией для будущих работ: любой метод, претендующий на улучшение памяти, теперь должен обходить простое уточнение инструкции.

Как использовать на практике

Командам, которые оценивают видео-модели мира, стоит пересмотреть протокол. Перед выводом о плохой памяти полезно проверить, выполнено ли само изменение: есть ли оно в кадре вообще. Если нет, дорабатывать нужно инструкцию или исполнение, а не архитектуру памяти.

Для тех, кто строит продукты на видео-генерации, вывод приземлённее. Рекурсивное уточнение промпта, как в M3-Agent, дёшево встроить поверх готовой модели без дообучения. Исследователям же придётся сравнивать новые методы памяти с этой более жёсткой базовой линией. Иначе часть заявленных улучшений окажется улучшением исполнения, записанным как улучшение памяти.