MIST montre que les modèles du monde vidéo n'oublient pas : ils n'exécutent pas la commande

On lit habituellement un faible score d'un modèle du monde vidéo à un test de mémoire comme un signe d'oubli. Les auteurs du travail « Execution Before Memory » jugent cette conclusion erronée. Ils proposent l'évaluation MIST, qui sépare la mise en scène, l'exécution du changement demandé et le résultat dans la dernière image. Leur diagnostic est différent : le modèle construit bien la scène, mais n'accomplit pas l'action commandée. La méthode M3-Agent (Make the Missing Move) affine l'instruction et fait plus que tripler le MIST reveal score. Sur le benchmark WRBench, la métrique T progresse de 26,1%, et sur MBench-T, la métrique U de 52,7%.

Une seule note pour trois questions

Les tests de mémoire pour modèles vidéo sont généralement conçus ainsi : on montre une scène au modèle, on lui demande de modifier quelque chose, puis on évalue l'image finale avec un seul chiffre. Ce chiffre mélange trois éléments distincts : la scène a-t-elle été mise en place, le changement a-t-il été exécuté, et le résultat est-il visible à la fin ?

Le problème est d'ordre logique. Si le changement n'a pas eu lieu, la transition d'état cachée n'a tout simplement aucune chance d'apparaître. Il n'y a alors rien à vérifier : la mémoire n'a pas failli, elle n'a pas eu le temps d'être sollicitée. Le score est bas, le lecteur y voit un oubli, alors que la cause se situe plus tôt dans la chaîne.

Comment fonctionne MIST

MIST dissocie le changement de la mémoire qu'il doit laisser. Le modèle met d'abord la scène en place, tandis que le changement reste caché. Ce n'est qu'ensuite qu'on lui demande de le montrer. Les fuites d'information sur le changement caché avant ce moment sont contrôlées, faute de quoi le résultat ne pourrait pas être interprété sans ambiguïté.

Cette dissociation révèle à quel endroit précis le processus se brise. D'après les résultats des auteurs, le modèle réussit la mise en scène, mais n'exécute pas le changement qu'on lui a indiqué. Ils observent le même écart dans les évaluations générales de la mémoire : le problème ne se limite donc pas à un seul test spécifique.

M3-Agent : corriger l'instruction, pas le modèle

Sur cette base, les auteurs proposent M3-Agent. Il révise de façon récursive les détails de l'instruction d'entrée jusqu'à ce que le modèle exécute ce qui est demandé. Le modèle de base reste gelé. La méthode attaque le problème par l'exécution : elle montre de quoi le modèle est capable lorsque l'action voulue est formulée explicitement.

Résultats annoncés :

• MIST reveal score : plus de trois fois supérieur à la baseline ;
• WRBench, métrique T : +26,1% ;
• MBench-T, métrique U : +52,7% ;
• les poids du modèle ne changent pas, le travail se fait au niveau de l'instruction.

L'abstract ne donne ni valeurs absolues ni liste des modèles testés. Il faut donc vérifier les gains relatifs dans le texte complet de l'article. Les auteurs présentent aussi ce résultat comme une baseline plus exigeante pour les travaux futurs : toute méthode qui prétend améliorer la mémoire devra désormais faire mieux qu'un simple affinage de l'instruction.

Comment l'utiliser en pratique

Les équipes qui évaluent des modèles du monde vidéo gagneraient à revoir leur protocole. Avant de conclure à une mauvaise mémoire, il est utile de vérifier que le changement lui-même a bien été exécuté, c'est-à-dire qu'il apparaît bel et bien dans l'image. Si ce n'est pas le cas, c'est l'instruction ou l'exécution qu'il faut retravailler, et non l'architecture de la mémoire.

Pour ceux qui construisent des produits sur la génération vidéo, la leçon est plus terre à terre. Un affinage récursif du prompt, comme dans M3-Agent, s'intègre à peu de frais par-dessus un modèle existant, sans réentraînement. Les chercheurs, eux, devront comparer leurs nouvelles méthodes de mémoire à cette baseline plus exigeante. Sinon, une partie des améliorations annoncées relèvera d'un meilleur passage à l'exécution, comptabilisé comme une meilleure mémoire.