Netflix ouvre Void, un modèle qui supprime des objets d'une vidéo en tenant compte de la physique de la scène

Netflix a ouvert le code de Void, un modèle d'édition vidéo qui retire de l'image non seulement un objet, mais aussi les conséquences de sa présence. Si l'on enlève une personne qui tient une guitare, un éditeur classique laisse souvent l'instrument « flotter ». Void tente de reconstruire la scène comme si l'objet n'avait jamais été là : la guitare tombe, le coussin se redresse, la collision n'a plus lieu. Pour la postproduction, c'est un pas important du simple remplissage de pixels vers l'édition causale. Le travail a été présenté par des chercheurs de Netflix et de l'INSAIT, rattaché à l'Université de Sofia, et le preprint est paru sur arXiv le 2 avril 2026.

C'est précisément là le principal défi de l'inpainting vidéo. La plupart des systèmes actuels savent combler un trou dans l'image et corriger des artefacts de surface comme les ombres ou les reflets, mais échouent quand l'objet supprimé interagit physiquement avec la scène. Dans l'article et les démos, les auteurs de Void montrent des cas typiques : une personne tient un objet, une charge appuie sur un coussin, un objet en percute un autre.

Après une suppression classique, il reste des traces absurdes de la logique initiale de la scène. Void cible justement ces scénarios et, selon ses auteurs, préserve mieux une dynamique de scène cohérente que ProPainter, DiffuEraser, Runway, MiniMax-Remover, ROSE et Gen-Omnimatte. Autrement dit, le modèle ne se contente pas de retoucher l'arrière-plan : il cherche à répondre à une question plus complexe, à savoir ce qui devrait se passer ensuite dans l'image si un objet clé disparaissait soudainement.

Techniquement, Void repose sur CogVideoX-Fun-V1.5-5b-InP d'Alibaba PAI et a été affiné pour l'inpainting vidéo. Le modèle de base est un Transformer 3D de 5 milliards de paramètres. L'idée clé : remplacer le masque binaire « supprimer/conserver » par une quadmask à quatre valeurs, soit l'objet lui-même, la zone d'intersection, la région des interactions affectées et l'arrière-plan inchangé. Le modèle reçoit ainsi non pas une simple zone découpée, mais une description plus structurée de ce qui doit changer dans la scène après la suppression. En entrée, on fournit aussi une description textuelle de l'état souhaité de l'arrière-plan, et la résolution d'inférence standard du dépôt est de 384 par 672 pixels, pour des clips allant jusqu'à 197 images.

Avant de générer, le système doit comprendre non seulement les contours de l'objet supprimé, mais aussi quelles parties de la scène en dépendent. Le dépôt contient pour cela un pipeline distinct : SAM2 segmente l'objet et Gemini aide à raisonner sur les zones d'interaction, puis le masque peut au besoin être retouché à la main dans un éditeur intégré.

Les auteurs ont aussi ajouté une inférence en deux passes. La première réalise la suppression principale et reconstitue la scène. La seconde n'est pas là pour « embellir », mais pour corriger un problème précis de la diffusion vidéo : la déformation progressive des objets d'une image à l'autre. Elle s'appuie sur l'optical flow et le warped noise issus de la première passe pour stabiliser la forme et les trajectoires sur de longs extraits.

Le jeu de données est lui aussi intéressant. Les vidéos réelles appariées du type « avec l'objet / sans l'objet, mais avec une physique correcte » n'existent presque pas ; l'équipe a donc constitué ces données de façon synthétique à partir de HUMOTO et de Kubric, en recalculant la physique de la scène après la suppression d'une personne ou d'un objet. Pour HUMOTO, elle a utilisé des scènes de capture de mouvement et une resimulation dans Blender, tandis que Kubric a couvert les scénarios de collisions et d'interactions entre objets.

Le code et les poids sont ouverts, le dépôt est distribué sous licence Apache 2.0 et une démo est disponible sur Hugging Face. Mais pour un lancement rapide dans Colab, les développeurs préviennent d'emblée qu'il faut un GPU avec au moins 40 Go de mémoire vidéo, et l'entraînement s'est fait sur huit A100 de 80 Go.

L'intérêt pratique de Void dépasse la belle démo. Pour les studios et les créateurs, c'est une réduction potentielle de semaines de travail manuel sur des plans complexes, où il ne suffit pas de retirer un objet mais où il faut réécrire le comportement de la scène après sa disparition. Pour les chercheurs, c'est un signal de plus que les modèles vidéo commencent à passer de la génération d'images plausibles à la modélisation de la causalité.

Mais il y a un revers : moins ces outils modifient visiblement une vidéo réelle, plus les exigences de vérification de l'authenticité des contenus augmentent. Void est ainsi à la fois un puissant outil de VFX et un rappel que la frontière entre montage et réécriture des événements s'amincit.