ComfyUI incorpora RelayVSR: escalado de video a 4K en tiempo real con 14 GB de VRAM

Qué problema resuelve

Quien haya intentado mejorar video mediante modelos generativos conoce bien el problema: la calidad es excelente, pero cada fotograma se procesa como una imagen independiente. Esto resulta lento y hace que los detalles comiencen a parpadear entre fotogramas. Los escaladores rápidos convencionales presentan el problema opuesto: trabajan con agilidad, pero producen una imagen borrosa sin detalles nuevos.

RelayVSR, que ahora cuenta con soporte en ComfyUI, intenta resolver este dilema. La idea es tan sencilla como una carrera de relevos: el modelo pesado solo recorre los primeros tramos y después entrega el testigo a uno ligero.

Cómo funciona

La arquitectura se denomina Sparse Generative Relay. Un gran modelo generativo sintetiza referencias latentes detalladas únicamente para fotogramas clave dispersos; por ejemplo, uno de cada varias decenas. A continuación, un transformer ligero con memoria dual, el Dual-Memory Video Transformer, propaga esos detalles a todos los fotogramas intermedios del flujo.

Imagine a un restaurador de arte y a su asistente. El restaurador reconstruye minuciosamente el rostro del personaje en un fotograma. El asistente no vuelve a dibujarlo desde cero, sino que traslada cuidadosamente ese trabajo a los fotogramas contiguos teniendo en cuenta el movimiento. La memoria dual permite conservar tanto el contexto reciente como los fotogramas de referencia.

Este esquema tiene un problema específico: los errores se acumulan. Si aparece un artefacto en un fotograma, se propaga a los siguientes. Para combatirlo, los autores utilizan aprendizaje por refuerzo mediante Video-Aware Reference Optimization (VARO), que enseña al sistema a no acumular defectos en secuencias largas.

Cifras y hardware

Los resultados anunciados dependen de la cuantización. Están disponibles los pesos INT8 relayvsr_x4_int8_convrot y relayvsr_x2_lightx2v_int8_convrot. Con ellos, el sistema alcanza 30 fotogramas por segundo a 1080p en una sola GPU de consumo y ocupa alrededor de 14 GB de VRAM. Es decir, requiere una tarjeta con 16 GB o más.

Sin embargo, existe una salvedad importante. Es posible escalar a 1080p y 4K, pero, a juzgar por la descripción, el verdadero procesamiento en tiempo real requiere una A100. Por tanto, la afirmación de "tiempo real en una GPU doméstica" es válida para 1080p; para 4K habrá que recurrir a hardware de servidor o aceptar el procesamiento sin conexión.

Qué hacer con esta tecnología

Si desarrolla servicios de video, sistemas de streaming, procesamiento de archivos o herramientas de edición, merece la pena probarla. Los modelos ya están disponibles en Hugging Face dentro de la organización Comfy-Org, los autores tienen una página en kopperx.github.io y el sistema puede ejecutarse en notebooks de Colab sin complicarse con una instalación local.

Consejos prácticos:

• Compruebe con su propio material el parpadeo de los detalles y el comportamiento en escenas rápidas y cambios de plano: es precisamente ahí donde los fotogramas clave dispersos pueden fallar.
• Compare los pesos x2 y x4: para muchas tareas basta con un escalado de 2x, que probablemente será más estable.
• Mida la velocidad real en su GPU en lugar de basarse únicamente en las cifras del anuncio.

Limitaciones

Por ahora, se trata de afirmaciones de los autores y de una integración reciente. El artículo no incluye benchmarks independientes ni explica el comportamiento con contenido complejo, como texto, gráficos pequeños o movimientos bruscos. Además, por su propia naturaleza, el escalado generativo inventa detalles, lo que supone un riesgo para usos documentales o forenses: la imagen puede resultar más atractiva sin ser necesariamente más precisa.

En resumen: si se confirma que la combinación de "fotogramas costosos y poco frecuentes más propagación barata" mantiene la calidad, podría convertirse en un buen patrón para otras tareas de video. RelayVSR ya resulta interesante para quienes están limitados por la velocidad de escalado, y es uno de los pocos casos en los que un enfoque generativo se aproxima al tiempo real.