Netflix abre o Void, modelo que remove objetos de vídeos levando em conta a física da cena

A Netflix abriu o código do Void, modelo de edição de vídeo que remove do quadro não só um objeto, mas também as consequências de sua presença. Se você tira uma pessoa que segurava um violão, um editor comum costuma deixar o instrumento "flutuando". O Void tenta reconstruir a cena como se o objeto nunca tivesse estado ali: o violão cai, a almofada se estica, a colisão deixa de acontecer. Para a pós-produção, é um passo importante do simples preenchimento de pixels rumo à edição causal. O trabalho foi apresentado por pesquisadores da Netflix e do INSAIT, da Universidade de Sófia, e o preprint apareceu no arXiv em 2 de abril de 2026.

Esse é justamente o principal problema do inpainting de vídeo. A maioria dos sistemas atuais consegue tapar um buraco no quadro e corrigir artefatos superficiais, como sombras ou reflexos, mas falha quando o objeto removido interage fisicamente com a cena. No artigo e nas demos, os autores do Void mostram casos típicos: uma pessoa segura um item, uma carga pressiona uma almofada, um objeto colide com outro.

Após a remoção convencional, sobram rastros absurdos da lógica original da cena. O Void mira exatamente nesses cenários e, segundo os autores, preserva melhor uma dinâmica coerente da cena do que ProPainter, DiffuEraser, Runway, MiniMax-Remover, ROSE e Gen-Omnimatte. Em outras palavras, o modelo não apenas retoca o fundo: ele tenta responder a uma pergunta mais difícil, o que deveria acontecer no quadro em seguida se um objeto-chave desaparecesse de repente.

Tecnicamente, o Void é construído sobre o CogVideoX-Fun-V1.5-5b-InP, da Alibaba PAI, e foi ajustado para inpainting de vídeo. O modelo base é um Transformer 3D com 5 bilhões de parâmetros. A ideia central é trocar a máscara binária "remover/manter" por uma quadmask com quatro valores: o próprio objeto, a zona de interseção, a região de interações afetadas e o fundo inalterado. Assim, o modelo recebe não só uma área recortada, mas uma descrição mais estruturada do que deve mudar na cena após a remoção. A entrada também inclui uma descrição textual do estado desejado do fundo, e a resolução padrão de inferência no repositório é de 384 por 672 pixels, com clipes de até 197 quadros.

Antes de gerar, o sistema precisa entender não só os limites do objeto removido, mas também quais partes da cena dependem dele. O repositório traz para isso um pipeline separado: o SAM2 segmenta o objeto e o Gemini ajuda a raciocinar sobre as zonas de interação; depois, se necessário, a máscara pode ser ajustada manualmente em um editor integrado.

Os autores também adicionaram inferência em duas passagens. A primeira faz a remoção principal e completa a cena. A segunda não serve para "embelezar", e sim para corrigir um problema específico da difusão de vídeo: a deformação gradual dos objetos entre os quadros. Para isso, usa optical flow e warped noise a partir dos resultados da primeira passagem, estabilizando forma e trajetórias em trechos longos.

O dataset também chama atenção. Quase não existem vídeos reais pareados do tipo "com o objeto / sem o objeto, mas com a física correta", então a equipe montou esses dados de forma sintética a partir do HUMOTO e do Kubric, recalculando a física da cena depois de remover a pessoa ou o objeto. No HUMOTO, usaram cenas de captura de movimento e ressimulação no Blender, enquanto o Kubric cobriu cenários de colisões e interações entre objetos.

O código e os pesos são abertos, o repositório é distribuído sob Apache 2.0 e há uma demo no Hugging Face. Porém, para uma execução rápida no Colab, os desenvolvedores já avisam que é preciso uma GPU com 40 GB de memória de vídeo ou mais, e o treinamento foi feito com oito A100 de 80 GB.

O sentido prático do Void vai além de uma demo bonita. Para estúdios e criadores, é uma possível economia de semanas de trabalho manual em planos complexos, em que não basta remover um objeto, é preciso reescrever o comportamento da cena depois que ele some. Para os pesquisadores, é mais um sinal de que os modelos de vídeo começam a sair da geração de quadros plausíveis rumo à modelagem de causalidade.

Mas há o outro lado: quanto menos perceptível for a alteração que essas ferramentas fazem em vídeos reais, maiores as exigências de verificação de autenticidade do material. Por isso o Void é, ao mesmo tempo, uma poderosa ferramenta de VFX e um lembrete de que a fronteira entre montar e reescrever eventos está ficando mais tênue.