Revisão de Shengqiong Wu e Hao Fei: mais de 600 trabalhos sobre modelos de vídeo como modelos de mundo

Nos últimos anos, os modelos de vídeo evoluíram em três frentes paralelas: um grupo aprendeu a entender vídeos, outro a gerá-los e um terceiro a prever a dinâmica do mundo. A equipe formada por Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr e Hao Fei reuniu essas frentes em uma única revisão. O trabalho cobre mais de 600 artigos, distribuídos em 19 tabelas, e propõe uma pergunta comum a todas as linhas: que relação o modelo aprende entre o vídeo observado e o mundo que o produziu?

O vídeo como um recorte do mundo

A metáfora de partida é simples. O vídeo é um rastro parcial, comprimido com perdas e ordenado no tempo de um mundo que continua mudando mesmo quando a câmera não está olhando para ele. Um carro passa para trás de um muro, o quadro fica vazio, mas no mundo o carro continua existindo. Um modelo que não leva isso em conta pode gerar uma imagem bonita e, ainda assim, não ter nenhuma noção do que está acontecendo.

Daí vem a distinção central da revisão. A coerência temporal, ou seja, a fluidez dos quadros, diz respeito ao rastro em si. A consistência de mundo diz respeito ao que esse rastro implica. Uma coisa não decorre da outra, e a maioria das métricas atuais verifica apenas a coerência.

Quatro operações no lugar de três comunidades

A literatura está organizada em quatro operações complementares, cada uma com definição e critérios próprios de avaliação:

• Reading: o estado do mundo é inferido a partir do vídeo (compreensão, reconhecimento, recuperação de propriedades da cena).
• Writing: o vídeo é sintetizado a partir de condições dadas ou aprendidas (geração).
• Sharing: um mesmo modelo lê e escreve, e compreensão e geração são unificadas por mecanismos de modelagem compartilhados.
• Interacting: o estado do mundo é previsto e atualizado conforme as ações e as mudanças nas observações.

A revisão apresenta ainda uma taxonomia dos modelos de mundo em vídeo com dois eixos. O primeiro é o espaço de previsão: observações ou estado latente. O segundo é a interface de transições: passiva, condicionada a ações ou interativa. Sora, V-JEPA e Genie 3 ocupam, cada um, uma célula diferente dessa grade, e nenhum dos modelos cobre a grade inteira.

A escada de evidências e sete problemas em aberto

Os autores propõem quatro degraus para avaliar alegações de "modelo de mundo":

1. resultado plausível; 2. fidelidade às condições dadas; 3. estado de mundo consistente; 4. utilidade para a tomada de decisões.

Na avaliação dos autores, para chamar um sistema de modelo de mundo é preciso chegar pelo menos ao terceiro degrau. Um vídeo verossímil, e mesmo a aderência precisa ao prompt, não substituem essa etapa.

Sete problemas em aberto são formulados junto com a direção dos métodos e o protocolo de avaliação de cada um:

• consistência em horizontes longos;
• fundamentação física e causal;
• sinergia mensurável entre compreensão e geração quando unificadas;
• avaliação padronizada;
• controle aprendido a partir de vídeo não rotulado;
• generalização para novas cenas e corporificações (embodiment);
• mundos estocásticos e eventos raros.

A mudança geral que a revisão identifica parte do reconhecimento em nível de clipe e da fidelidade perceptiva e avança para um estado persistente, uma evolução controlável da cena, correção física e causal e avaliação por meio de interação e das decisões que dela decorrem. Segundo os autores, escalar modelos de mundo exige intervenções, e não simplesmente mais vídeos: a observação, por si só, não mostra o que aconteceria diante de uma ação diferente.

Como usar a revisão

O trabalho serve como checklist na hora de ler o próximo lançamento de um modelo de vídeo. Se o anúncio traz apenas demos bonitas e métricas do tipo FVD, estamos diante dos degraus um e dois da escada. Perguntas úteis para os desenvolvedores: o objeto continua existindo fora do quadro? O estado da cena muda sob a ação de um agente? O modelo foi testado em decisões de tarefas downstream, como robótica ou planejamento?

Para quem escolhe uma linha de pesquisa ou de investimento, os sete problemas formam um mapa pronto das lacunas. Memória longa, causalidade e aprendizado de controle em vídeo não rotulado continuam sendo os pontos mais fracos, e é justamente neles que há menos trabalhos até agora.

Página do projeto: vid-gen.github.io/video-world-model-survey; a lista de trabalhos é mantida no repositório vid-gen/awesome-video-world-model, no GitHub. Os autores pedem que sejam enviados os trabalhos que ficaram de fora. O artigo foi publicado em 22 de outubro de 2026 e entrou na seleção diária do Hugging Face Papers, onde somou 218 upvotes.