VMem-Bench le démontre : la mémoire dans les générateurs vidéo fait chuter la précision jusqu'à 0,845

Les générateurs de vidéos longues puisent de plus en plus dans l'historique des images passées pour éviter que le personnage ne change de visage d'une scène à l'autre. L'idée paraît logique : plus l'accès au passé est large, plus l'avenir est stable. L'équipe composée de Yuzhuo Chen, Huafeng Shi, Xinyu Wang, Yulong Xu, Yucheng Wang, Haoqin Hong, Guoxin Zhang, Zehua Ma et Weiming Zhang a mis cette hypothèse à l'épreuve avec le benchmark VMem-Bench. La mémoire fait effectivement grimper le recall des entités de 0,559 à 0,628–0,693. Mais ce gain a un prix : la précision chute de 0,977 à 0,915–0,938, et la capacité à ne pas dessiner des personnages ou objets interdits s'effondre de 0,968 à 0,845–0,898.

Une image fidèle au passé, mais fausse pour le présent

L'idée centrale de cette étude est simple : une image peut correspondre exactement à ce qui existait auparavant, tout en étant une erreur pour le moment présent de l'histoire. Le héros a changé de vêtements, porte désormais une cicatrice, a perdu un objet — et le système de mémoire fournit obligeamment une ancienne référence au générateur. Résultat : le modèle reproduit une apparence obsolète que l'intrigue a déjà invalidée.

Les auteurs montrent que c'est précisément ce qui se produit. La recherche dans l'historique renforce des apparences obsolètes après que l'histoire les a modifiées. La similarité avec les apparitions passées augmente dans le même temps, et selon les métriques de « cohérence », tout semble parfait. Le problème est que cohérence par rapport au passé et exactitude par rapport à l'intrigue actuelle mesurent deux choses différentes.

Deux pistes pour séparer le choix des références du travail du générateur

VMem-Bench est conçu comme une étude diagnostique en deux volets.

• Track-A évalue quelles références sont choisies dans l'historique, avant toute génération et sans influence du générateur lui-même. Matériel : 92 films réels, 16 548 segments.
• Track-B compare quatre politiques de recherche à deux variantes de contrôle, sur un même générateur. Matériel : 30 histoires construites de manière causale, 2 824 segments. Contrôles : une variante sans mémoire et une variante « dernière apparition vue » avec indice tiré de l'annotation de référence.

Cette séparation lève la principale confusion du domaine. Quand une vidéo est réussie, on ne sait pas si c'est grâce à un bon choix de référence ou parce que le générateur s'en est sorti seul. Track-A répond séparément à la première question.

Le piège du recall sur longs intervalles

Il existe aussi un effet inverse. Un recall élevé sur de longs intervalles entre les apparitions d'un personnage peut survenir sans aucune mémoire, si le prompt lui-même décrit déjà l'apparence. Le modèle dessine le bon personnage parce qu'on le lui a écrit, pas parce qu'il « s'en souvient ». Pour détecter cela, les auteurs ont appliqué une analyse par suppression des descriptions d'apparence dans les prompts. Sans cette vérification, on risque d'attribuer à tort le gain au mécanisme de mémoire.

Chiffres clés

• Recall des entités : 0,559 sans mémoire → 0,628–0,693 avec recherche dans l'historique.
• Précision : 0,977 sans mémoire → 0,915–0,938 avec mémoire.
• Évitement des entités interdites : 0,968 sans mémoire → 0,845–0,898 avec mémoire.
• Volume de Track-A : 92 films, 16 548 segments.
• Volume de Track-B : 30 histoires, 2 824 segments, 4 politiques de recherche, 2 contrôles.
• Effet secondaire : fixation d'apparences obsolètes après des changements dans l'intrigue.

Ce qu'il faut changer dans les pipelines

Pour les équipes qui conçoivent des vidéos longues, des séries, des chaînes publicitaires ou des séquences de jeu, la conclusion est concrète. La pertinence de la référence retrouvée et la cohérence finale de la vidéo ne prouvent pas, en soi, l'utilité de la mémoire. Il faut des métriques distinctes de précision et d'entités « interdites », sous peine de laisser la dégradation invisible.

La mémoire doit être liée à l'état de l'intrigue, et pas seulement à la proximité visuelle : la recherche doit savoir que le héros s'est déjà changé, ou que l'objet a disparu. Les tests doivent inclure un contrôle « sans mémoire » ainsi qu'une variante où les descriptions d'apparence ont été retirées du prompt, sous peine de confondre le travail du prompt avec celui de la mémoire. Le code et la page du projet sont ouverts : dépôt Suchenl/VMem-Bench sur GitHub, article sur arXiv sous le numéro 2610.35001.