CausalAlign cura o "esquecimento" dos modelos de vídeo: erros de geometria caem 20%

Os geradores de vídeo aprenderam a produzir clipes convincentes, mas ainda carregam um problema incômodo: a câmera "escorrega". Depois de alguns segundos, a trajetória se afasta do planejado, a geometria da cena se deforma, e tudo que é construído sobre esse vídeo começa a errar. Uma equipe do PKU VaLuE Lab (Kai Zhu, Yiwu Zhong e colaboradores) propõe o método CausalAlign. Ele reduz os erros de consistência geométrica do Wan2.2 em mais de 20% e eleva o sucesso dos modelos de ação robóticos em 10 pontos no RoboCasa365.

Onde o modelo perde a câmera

A ideia central do trabalho é diagnosticar primeiro e só então tratar. Os autores investigaram como um modelo de vídeo por difusão representa, usa e retém a informação sobre o movimento de câmera (ego-motion). Usaram duas ferramentas: sondas lineares, que mostram se é possível extrair os parâmetros de movimento das ativações de uma camada, e intervenções causais, que verificam se esse conhecimento realmente afeta o resultado.

As duas métricas se comportam do mesmo jeito: sobem e depois caem, tanto ao longo das camadas da rede quanto das etapas de denoising. O modelo se apoia no ego-motion nos estágios intermediários, mas não o mantém até o final. Os autores chamaram esse efeito de geometric state forgetting, ou esquecimento geométrico de estado. Segundo a lógica deles, isso explica a deriva em horizontes longos: a rede "entende" como a câmera se moveu, mas não transfere esse entendimento para os quadros finais.

Delta-tokens em vez da cena completa

O tratamento se baseia no alinhamento de representações. Os pesquisadores pegam um modelo fundacional 3D que conhece bem a geometria e constroem, a partir de suas features, um espaço de delta-tokens. Cada token codifica a mudança entre quadros vizinhos, não o quadro em si. Isso é importante: o fundo estático representa a maior parte do vídeo, e se as features forem alinhadas como um todo, o sinal de movimento se perde no conteúdo redundante da cena. Os deltas forçam a supervisão a focar justamente na dinâmica.

O alinhamento não é aplicado a toda a rede, mas sim nos pontos em que o ego-motion começa a se dissipar. Assim, o método reforça o elo fraco em vez de reescrever o modelo por completo.

Os resultados

O modelo base foi o Wan2.2, ajustado com os datasets DL3DV e RealEstate10K. Principais resultados:

• a precisão do movimento de câmera, a consistência geométrica e a suavidade temporal melhoraram de forma expressiva;
• os erros de consistência geométrica caíram mais de 20% em relação ao modelo base;
• a qualidade visual se manteve no mesmo nível, ou seja, o ganho não veio à custa de borrões ou artefatos;
• os world action models (WAMs) que usam o gerador de vídeo ajustado mostraram um aumento de 10 pontos de sucesso em tarefas de manipulação móvel do benchmark RoboCasa365.

Stack da pesquisa: Wan2.2 como gerador de vídeo base, um modelo fundacional 3D como fonte de "verdade geométrica", DL3DV e RealEstate10K como dados de treinamento, e RoboCasa365 como teste em tarefas corporificadas.

Por que isso importa além do vídeo

O interesse em modelos de vídeo como "modelos de mundo" para robôs está crescendo: o robô prevê o futuro em forma de vídeo e escolhe uma ação com base nisso. Se a câmera prevista sofre deriva, a ação é calculada sobre um futuro distorcido, e o erro se acumula de forma sistemática. O trabalho mostra essa ligação de forma direta: melhorar a geometria no gerador aumenta a taxa de sucesso do agente nas tarefas.

A conclusão prática para desenvolvedores é esta. Antes de aumentar dados e parâmetros, vale sondar o próprio modelo e encontrar a camada e a etapa em que o sinal necessário desaparece. O alinhamento por deltas com um especialista 3D externo é barato comparado a retreinar do zero, e é aplicável a outros modelos de vídeo, não só ao Wan2.2. O código e a página do projeto estão abertos, então o método pode ser reproduzido com dados próprios. As limitações também são claras: os resultados foram obtidos com datasets específicos e um único benchmark, e a transferência para vídeos mais longos e cenas arbitrárias ainda precisa ser verificada.