Netflix abre Void, un modelo para eliminar objetos de vídeos teniendo en cuenta la física de la escena

Netflix ha abierto el código de Void, un modelo de edición de vídeo que elimina del encuadre no solo un objeto, sino también las consecuencias de su presencia. Si se quita a una persona que sostiene una guitarra, un editor convencional suele dejar el instrumento «flotando». Void intenta reconstruir la escena como si el objeto nunca hubiera estado: la guitarra cae, el cojín se estira, la colisión deja de producirse. Para la posproducción, es un paso importante desde el simple relleno de píxeles hacia la edición causal. El trabajo lo presentaron investigadores de Netflix e INSAIT, del Instituto de la Universidad de Sofía, y el preprint apareció en arXiv el 2 de abril de 2026.

Ese es justo el principal problema del inpainting de vídeo. La mayoría de los sistemas actuales saben tapar un hueco en el encuadre y corregir artefactos superficiales como sombras o reflejos, pero fallan cuando el objeto eliminado interactúa físicamente con la escena. En el artículo y en las demos, los autores de Void muestran casos típicos: una persona sostiene un objeto, una carga presiona un cojín, un objeto choca con otro.

Tras una eliminación convencional quedan rastros absurdos de la lógica original de la escena. Void apunta justo a estos escenarios y, según sus autores, conserva mejor una dinámica coherente de la escena que ProPainter, DiffuEraser, Runway, MiniMax-Remover, ROSE y Gen-Omnimatte. Dicho de otro modo, el modelo no se limita a retocar el fondo: intenta responder a una pregunta más compleja, qué debería ocurrir después en el encuadre si un objeto clave desaparece de repente.

Técnicamente, Void está construido sobre CogVideoX-Fun-V1.5-5b-InP, de Alibaba PAI, y reentrenado para inpainting de vídeo. El modelo base es un Transformer 3D de 5000 millones de parámetros. La idea clave es sustituir la máscara binaria «eliminar/conservar» por una quadmask con cuatro valores: el propio objeto, la zona de intersección, la región de interacciones afectadas y el fondo inalterado. Así, el modelo recibe no solo una región recortada, sino una descripción más estructurada de lo que debe cambiar en la escena tras la eliminación. Como entrada también se da una descripción textual del estado deseado del fondo, y la resolución de inferencia estándar del repositorio es de 384 por 672 píxeles, con clips de hasta 197 fotogramas.

Antes de generar, el sistema debe entender no solo los límites del objeto que se elimina, sino también qué zonas de la escena dependen de él. El repositorio incluye para ello un pipeline aparte: SAM2 segmenta el objeto y Gemini ayuda a razonar sobre las zonas de interacción; después, si hace falta, la máscara puede ajustarse a mano en un editor integrado.

Los autores también añadieron inferencia en dos pasadas. La primera hace la eliminación principal y completa la escena. La segunda no está para «embellecer», sino para corregir un problema concreto de la difusión de vídeo: la deformación gradual de los objetos entre fotogramas. Para ello usa optical flow y warped noise a partir de los resultados de la primera pasada, con el fin de estabilizar la forma y las trayectorias en fragmentos largos.

El conjunto de datos también tiene interés. Casi no existen vídeos reales emparejados del tipo «con el objeto / sin el objeto, pero con la física correcta», así que el equipo los generó de forma sintética a partir de HUMOTO y Kubric, recalculando la física de la escena tras eliminar a la persona o el objeto. En HUMOTO usaron escenas de captura de movimiento y resimulación en Blender, mientras que Kubric cubrió los escenarios de colisiones e interacciones entre objetos.

El código y los pesos están abiertos, el repositorio se distribuye bajo Apache 2.0 y hay una demo en Hugging Face. Sin embargo, para un arranque rápido en Colab, los desarrolladores advierten desde el principio de que se requiere una GPU con 40 GB de memoria de vídeo o más, y el entrenamiento se hizo con ocho A100 de 80 GB.

El valor práctico de Void va más allá de una demo vistosa. Para estudios y creadores, supone un posible ahorro de semanas de trabajo manual en planos complejos, donde no basta con quitar un objeto, sino que hay que reescribir el comportamiento de la escena tras su desaparición. Para los investigadores, es otra señal de que los modelos de vídeo empiezan a pasar de generar fotogramas verosímiles a modelar la causalidad.

Pero hay una cara B: cuanto menos se noten los retoques de estas herramientas en vídeo real, mayores son las exigencias de verificar la autenticidad del material. Por eso Void es a la vez una potente herramienta de VFX y un recordatorio de que la frontera entre montar y reescribir los hechos se vuelve más fina.