VMem-Bench revela: la memoria en generadores de video reduce la precisión a 0,845

Los generadores de video largo recurren cada vez más al historial de fotogramas pasados para que un personaje no cambie de rostro de escena en escena. Suena lógico: cuanto más acceso al pasado, más estable el futuro. Un equipo formado por Yuzhuo Chen, Huafeng Shi, Xinyu Wang, Yulong Xu, Yucheng Wang, Haoqin Hong, Guoxin Zhang, Zehua Ma y Weiming Zhang puso a prueba esta suposición con el benchmark VMem-Bench. La memoria sí eleva el recall de entidades de 0,559 a 0,628–0,693. Pero tiene un costo: la precisión cae de 0,977 a 0,915–0,938, y la capacidad de no dibujar personajes y objetos prohibidos se desploma de 0,968 a 0,845–0,898.

La imagen es correcta respecto al pasado e incorrecta respecto al presente

La idea central del trabajo es sencilla: una imagen puede coincidir exactamente con lo que ocurrió antes y, al mismo tiempo, ser un error para el momento actual de la historia. El personaje cambió de ropa, recibió una cicatriz o perdió un objeto, y el sistema de memoria le entrega amablemente al generador una referencia antigua. El resultado es que el modelo reproduce un aspecto obsoleto que la trama ya había descartado.

Los autores demostraron que esto es justo lo que ocurre. La búsqueda en el historial refuerza apariencias obsoletas después de que la historia ya las cambió. La similitud con apariciones pasadas aumenta, y según las métricas de "consistencia" todo se ve perfecto. El problema es que la consistencia respecto al pasado y la corrección respecto a la trama actual miden cosas distintas.

Dos pistas para separar la selección de referencias del desempeño del generador

VMem-Bench está diseñado como un estudio diagnóstico en dos partes.

• Track-A evalúa qué referencias se seleccionan del historial, antes de cualquier generación y sin influencia del propio generador. Material: 92 películas reales, 16.548 segmentos.
• Track-B compara cuatro políticas de búsqueda con dos variantes de control sobre el mismo generador. Material: 30 historias estructuradas causalmente, 2.824 segmentos. Controles: una variante sin memoria y una variante de "última vez visto" con una pista de la anotación de referencia.

Esta separación elimina la principal fuente de confusión en el área. Cuando un video resulta bueno, no queda claro si ayudó una buena elección de referencia o si el generador se las arregló solo. Track-A responde la primera pregunta por separado.

La trampa del recall en intervalos largos

Hay también un efecto inverso. Un recall alto en intervalos largos entre apariciones de un personaje puede surgir sin memoria alguna, si el propio prompt ya describe la apariencia. El modelo dibuja al personaje correcto porque se lo indicaron, no porque lo "recordó". Para destapar esto, los autores aplicaron un análisis eliminando las descripciones de apariencia de los prompts. Sin esta verificación, la mejora podría atribuirse erróneamente al mecanismo de memoria.

Cifras clave

• Recall de entidades: 0,559 sin memoria → 0,628–0,693 con búsqueda en el historial.
• Precisión: 0,977 sin memoria → 0,915–0,938 con memoria.
• Evitación de entidades prohibidas: 0,968 sin memoria → 0,845–0,898 con memoria.
• Escala de Track-A: 92 películas, 16.548 segmentos.
• Escala de Track-B: 30 historias, 2.824 segmentos, 4 políticas de búsqueda, 2 controles.
• Efecto secundario: fijación de apariencias obsoletas tras cambios en la trama.

Qué cambiar en los pipelines

Para los equipos que construyen videos largos, series, secuencias publicitarias o cinemáticas de videojuegos, la conclusión es práctica. La relevancia de la referencia encontrada y la consistencia general del video no demuestran por sí solas que la memoria esté ayudando. Se necesitan métricas separadas de precisión y de entidades "prohibidas", de lo contrario la degradación permanece invisible.

La memoria debe vincularse al estado de la trama, no solo a la cercanía visual: la búsqueda debe saber que el personaje ya se cambió de ropa o que un objeto desapareció. Las pruebas deben incluir un control "sin memoria" y una variante con las descripciones de apariencia eliminadas del prompt, de lo contrario se puede confundir el trabajo del prompt con el trabajo de la memoria. El código y la página del proyecto están abiertos: el repositorio Suchenl/VMem-Bench en GitHub, y el artículo en arXiv con el número 2610.35001.