MIST mostra que modelos de mundo em vídeo não esquecem: o problema é que não executam o comando

É comum interpretar a nota baixa de um modelo de mundo em vídeo num teste de memória como esquecimento. Os autores do trabalho «Execution Before Memory» consideram essa conclusão equivocada. Eles propuseram a avaliação MIST, que separa a construção da cena, a execução da mudança solicitada e o resultado no último quadro. O diagnóstico deles é outro: o modelo constrói a cena, mas não realiza a ação pedida. O método M3-Agent (Make the Missing Move) refina a instrução e eleva o MIST reveal score em mais de três vezes. No benchmark WRBench, a métrica T cresce 26,1%, e no MBench-T, a métrica U sobe 52,7%.

Uma nota para três perguntas

Os testes de memória para modelos de vídeo costumam seguir o mesmo formato. O modelo vê uma cena, recebe o pedido de alterar algo, e o quadro final é avaliado com um único número. Esse número mistura três coisas distintas: se a cena foi construída, se a mudança foi executada e se o resultado aparece no final.

O problema está na lógica. Se a mudança não aconteceu, a transição de estado oculta simplesmente não tem como ocorrer. Não há, então, o que verificar: a memória não falhou, ela nem chegou a ser acionada. A nota sai baixa, o leitor atribui isso ao esquecimento, e a causa real está mais atrás na cadeia.

Como funciona o MIST

O MIST separa a mudança da memória que ela deveria deixar. Primeiro, o modelo constrói a cena, e a mudança permanece oculta. Só depois pedem que ele a mostre. Até esse momento, o vazamento de informação sobre a mudança oculta é mantido sob controle; sem isso, o resultado não poderia ser interpretado de forma inequívoca.

Essa separação mostra em que ponto exato o processo quebra. Segundo os resultados dos autores, o modelo dá conta da construção da cena, mas não executa a mudança instruída. Eles encontram a mesma lacuna também em avaliações gerais de memória, ou seja, o problema não se limita a um teste específico.

M3-Agent: consertar a instrução, não o modelo

Com base nisso, os autores propõem o M3-Agent. Ele revisa de forma recursiva os detalhes da instrução de entrada até o modelo fazer o que foi pedido. O modelo base permanece congelado durante todo o processo. O método atua pelo lado da execução: mostra do que o modelo é capaz quando a ação necessária é formulada de maneira explícita.

Resultados declarados:

• MIST reveal score: mais de três vezes acima da linha de base;
• WRBench, métrica T: +26,1%;
• MBench-T, métrica U: +52,7%;
• os pesos do modelo não mudam, e o trabalho acontece no nível da instrução.

O resumo do artigo não traz valores absolutos nem a lista de modelos testados. Os ganhos relativos precisam ser conferidos no texto completo. Os autores também apresentam o resultado como uma linha de base mais rigorosa para trabalhos futuros: qualquer método que pretenda melhorar a memória agora precisa superar o simples refinamento da instrução.

Como usar na prática

Equipes que avaliam modelos de mundo em vídeo devem rever o protocolo. Antes de concluir que a memória é ruim, vale checar se a própria mudança foi executada, isto é, se ela aparece no quadro. Se não aparece, o que precisa de ajuste é a instrução ou a execução, não a arquitetura de memória.

Para quem desenvolve produtos com geração de vídeo, a conclusão é mais pé no chão. O refinamento recursivo de prompt, como no M3-Agent, é barato de embutir sobre um modelo pronto, sem retreinamento. Já os pesquisadores terão de comparar novos métodos de memória com essa linha de base mais exigente. Caso contrário, parte das melhorias declaradas será, na verdade, melhoria de execução registrada como melhoria de memória.