ComfyUI accueille RelayVSR : mise à l’échelle vidéo jusqu’en 4K en temps réel avec 14 Go de VRAM

Quel est le problème ?

Quiconque a déjà essayé d’améliorer une vidéo avec des modèles génératifs connaît le problème : la qualité est excellente, mais chaque image est traitée comme une illustration indépendante. C’est lent, et les détails commencent à scintiller d’une image à l’autre. À l’inverse, les outils classiques de mise à l’échelle rapide travaillent efficacement, mais produisent une image floue sans ajouter de nouveaux détails.

RelayVSR, désormais pris en charge dans ComfyUI, tente de résoudre ce dilemme. L’idée est aussi simple qu’une course de relais : le modèle lourd ne parcourt que les premiers segments, puis passe le témoin à un modèle léger.

Comment cela fonctionne

L’architecture porte le nom de Sparse Generative Relay. Le grand modèle génératif synthétise des références latentes détaillées uniquement pour des images clés clairsemées — par exemple, une image sur plusieurs dizaines. Un transformeur léger à double mémoire, le Dual-Memory Video Transformer, propage ensuite ces détails à toutes les images intermédiaires du flux.

Imaginez un restaurateur et son assistant. Le restaurateur redessine minutieusement le visage du personnage sur une image. Au lieu de tout redessiner, l’assistant reporte soigneusement ce travail sur les images voisines en tenant compte du mouvement. La double mémoire sert ici à conserver à la fois le contexte récent et les images de référence.

Cette approche pose toutefois un autre problème : les erreurs s’accumulent. Si un artefact apparaît sur une image, il se propage aux suivantes. Pour y remédier, les auteurs utilisent un apprentissage par renforcement baptisé Video-Aware Reference Optimization (VARO), qui apprend au système à ne pas accumuler les défauts sur de longues séquences.

Chiffres et matériel

Les performances annoncées dépendent de la quantification. Deux jeux de poids INT8 sont disponibles : relayvsr_x4_int8_convrot et relayvsr_x2_lightx2v_int8_convrot. Avec ceux-ci, le système atteint 30 images par seconde en 1080p sur une seule carte graphique grand public et utilise environ 14 Go de mémoire vidéo. Il faut donc une carte dotée d’au moins 16 Go.

Il existe néanmoins une réserve importante. La mise à l’échelle vers le 1080p et la 4K est possible, mais, d’après la description, une A100 est nécessaire pour un véritable traitement en temps réel. Ainsi, la promesse du « temps réel sur une carte grand public » vaut pour le 1080p ; en 4K, il faudra du matériel serveur ou accepter un traitement hors ligne.

Que peut-on en faire ?

Si vous développez des services vidéo, des solutions de streaming, des systèmes de traitement d’archives ou des outils de montage, le modèle mérite un essai. Les modèles sont déjà disponibles sur Hugging Face au sein de l’organisation Comfy-Org, les auteurs disposent d’une page sur kopperx.github.io, et des notebooks collaboratifs permettent de lancer le système sans se préoccuper d’une installation locale.

Conseils pratiques :

• Testez sur vos propres contenus le scintillement des détails ainsi que le comportement dans les scènes rapides et lors des changements de plan : c’est précisément là que les images clés clairsemées peuvent échouer.
• Comparez les poids x2 et x4 : pour de nombreuses tâches, un agrandissement par deux suffit et devrait être plus stable.
• Mesurez la vitesse réelle sur votre carte graphique au lieu de vous fier uniquement aux chiffres de l’annonce.

Limites

Pour l’instant, il s’agit des affirmations des auteurs et d’une intégration récente. L’article ne présente aucun benchmark indépendant et ne précise pas le comportement sur des contenus complexes tels que le texte, les petits éléments graphiques ou les mouvements brusques. Par nature, la mise à l’échelle générative invente également des détails. Pour des usages documentaires ou judiciaires, cela constitue un risque : l’image sera plus belle, mais pas nécessairement plus fidèle.

En résumé, s’il se confirme que la combinaison « rares images coûteuses et propagation bon marché » maintient la qualité, elle pourrait servir de modèle à d’autres tâches vidéo. RelayVSR mérite déjà l’attention de ceux qui se heurtent aux limites de vitesse de la mise à l’échelle. C’est aussi l’un des rares cas où une approche générative se rapproche du temps réel.