ComfyUI получил RelayVSR: апскейл видео до 4K в реалтайме на 14 ГБ VRAM

Что за проблема

Кто пробовал улучшать видео генеративными моделями, знает боль: качество отличное, но каждый кадр обрабатывается как отдельная картинка. Это медленно, а детали между кадрами начинают мерцать. Классические быстрые апскейлеры, наоборот, работают шустро, но выдают мыло без новых деталей.

RelayVSR, который теперь поддерживается в ComfyUI, пробует развязать этот узел. Идея простая, как эстафета: тяжёлая модель бежит только первые отрезки, а дальше передаёт эстафетную палочку лёгкой.

Как это работает

Архитектура называется Sparse Generative Relay. Большая генеративная модель синтезирует детализированные латентные референсы только для разреженных ключевых кадров. Например, для одного кадра из нескольких десятков. Затем лёгкий трансформер с двойной памятью (Dual-Memory Video Transformer) переносит эти детали на все промежуточные кадры потока.

Представьте реставратора и его помощника. Реставратор тщательно прорисовывает лицо героя в одном кадре. Помощник не рисует заново, а аккуратно копирует эту проработку в соседние кадры с учётом движения. Двойная память здесь нужна, чтобы помнить и свежий контекст, и опорные кадры.

Отдельная проблема такой схемы: ошибки копятся. Если в одном кадре появился артефакт, он тянется дальше. Для борьбы с этим авторы используют обучение с подкреплением Video-Aware Reference Optimization (VARO), которое учит систему не накапливать дефекты на длинной дистанции.

Цифры и железо

Заявленные результаты зависят от квантования. Доступны INT8-веса relayvsr_x4_int8_convrot и relayvsr_x2_lightx2v_int8_convrot. С ними система выдаёт 30 кадров в секунду в 1080p на одной потребительской видеокарте и занимает около 14 ГБ видеопамяти. То есть это уровень карт с 16 ГБ и выше.

Но есть важная оговорка. Апскейл до 1080p и 4K возможен, однако для настоящего реалтайма, судя по описанию, нужна A100. Так что «реалтайм на домашней карте» верен для 1080p, а для 4K придётся брать серверное железо или мириться с офлайн-обработкой.

Что с этим делать

Если вы делаете видеосервисы, стриминг, обработку архивов или инструменты для монтажа, стоит попробовать. Модели уже лежат на Hugging Face в организации Comfy-Org, страница авторов есть на kopperx.github.io, а запустить можно в коллаб-ноутбуках без возни с локальной установкой.

Практические советы:

• Проверьте на своём материале мерцание деталей и поведение на быстрых сценах и смене плана: именно здесь разреженные ключевые кадры могут ошибаться.
• Сравните x2 и x4 веса: для многих задач двукратного апскейла достаточно, и он будет стабильнее.
• Замерьте реальную скорость на вашей карте, а не только по цифрам из анонса.

Ограничения

Это пока заявления авторов и свежая интеграция. Независимых бенчмарков в материале нет, а про поведение на сложном контенте (текст, мелкая графика, резкие движения) ничего не сказано. Генеративный апскейл также по природе додумывает детали, и для документальных или судебных задач это риск: картинка станет красивее, но не обязательно точнее.

Итог: если подтвердится, что связка «редкие дорогие кадры плюс дешёвый перенос» держит качество, это хороший шаблон и для других задач с видео. Уже сейчас RelayVSR интересно проверить тем, кто упирается в скорость апскейла, и это один из немногих случаев, когда генеративный подход подбирается к реалтайму.