MIST muestra que los modelos de mundo en vídeo no olvidan: no ejecutan la orden

Una puntuación baja de un modelo de mundo en vídeo en un test de memoria suele interpretarse como falta de memoria. Los autores del trabajo «Execution Before Memory» consideran que esa conclusión es errónea. Proponen la evaluación MIST, que separa la construcción de la escena, la ejecución del cambio solicitado y el resultado final en el último fotograma. Su diagnóstico es distinto: el modelo construye la escena, pero no realiza la acción pedida. El método M3-Agent (Make the Missing Move) afina la instrucción y multiplica por más de tres el MIST reveal score. En el benchmark WRBench, la métrica T sube un 26,1%; en MBench-T, la métrica U sube un 52,7%.

Una sola puntuación para tres preguntas

Los tests de memoria para modelos de vídeo suelen funcionar así. Se muestra una escena al modelo, se le pide que cambie algo y después se evalúa el fotograma final con un único número. Ese número mezcla tres cosas distintas: si la escena se construyó, si se ejecutó el cambio y si el resultado es visible al final.

El problema es de lógica. Si el cambio no se produce, la transición de estado oculta no tiene de dónde surgir. No hay entonces nada que comprobar: la memoria no ha fallado, simplemente no llegó a entrar en juego. La puntuación sale baja y el lector la atribuye al olvido, aunque la causa está antes en la cadena.

Cómo funciona MIST

MIST separa el cambio de la memoria que este debe dejar. Primero el modelo construye la escena y el cambio permanece oculto. Solo después se le pide que lo muestre. Hasta ese momento se controla que no se filtre información sobre el cambio oculto; de lo contrario, el resultado no podría interpretarse de forma inequívoca.

Esta separación permite ver en qué punto exacto se rompe el proceso. Según los resultados de los autores, el modelo cumple con la construcción de la escena, pero no ejecuta el cambio indicado. Encuentran la misma brecha en las evaluaciones generales de memoria, es decir, el problema no se limita a un único test específico.

M3-Agent: arreglar la instrucción, no el modelo

Sobre esta base, los autores proponen M3-Agent. El método revisa de forma recursiva los detalles de la instrucción de entrada hasta que el modelo hace lo que se le pide. El modelo base permanece congelado. El enfoque actúa desde el lado de la ejecución: muestra de qué es capaz el modelo cuando la acción necesaria está formulada de forma explícita.

Resultados declarados:

• MIST reveal score: más de tres veces superior a la línea base;
• WRBench, métrica T: +26,1%;
• MBench-T, métrica U: +52,7%;
• los pesos del modelo no cambian; el trabajo se hace a nivel de instrucción.

La anotación no incluye valores absolutos ni la lista de modelos probados. Los incrementos relativos conviene contrastarlos con el texto completo del artículo. Los autores también presentan el resultado como una línea base más exigente para trabajos futuros: cualquier método que aspire a mejorar la memoria deberá ahora superar el simple afinado de la instrucción.

Cómo aplicarlo en la práctica

Los equipos que evalúan modelos de mundo en vídeo deberían revisar su protocolo. Antes de concluir que la memoria es mala, conviene comprobar si el cambio se ha ejecutado: si aparece en el fotograma, sin más. Si no aparece, lo que hay que mejorar es la instrucción o la ejecución, no la arquitectura de memoria.

Para quienes desarrollan productos sobre generación de vídeo, la conclusión es más terrenal. El refinamiento recursivo del prompt, como en M3-Agent, es barato de integrar sobre un modelo ya hecho y sin reentrenamiento. Los investigadores, por su parte, tendrán que comparar los nuevos métodos de memoria con esta línea base más dura. De lo contrario, parte de las mejoras declaradas serán mejoras de ejecución registradas como mejoras de memoria.