ComfyUI ganha RelayVSR: upscale de video para 4K em tempo real com 14 GB de VRAM

Qual e o problema

Quem ja tentou aprimorar videos com modelos generativos conhece o problema: a qualidade e excelente, mas cada quadro e processado como uma imagem separada. Isso e lento, e os detalhes começam a piscar entre os quadros. Os upscalers rapidos convencionais têm o problema oposto: trabalham com agilidade, mas produzem uma imagem borrada, sem novos detalhes.

O RelayVSR, agora compativel com o ComfyUI, tenta resolver esse impasse. A ideia e tão simples quanto uma corrida de revezamento: o modelo pesado percorre apenas os primeiros trechos e depois passa o bastão para um modelo leve.

Como funciona

A arquitetura se chama Sparse Generative Relay. Um grande modelo generativo sintetiza referências latentes detalhadas apenas para quadros-chave esparsos — por exemplo, um quadro a cada varias dezenas. Em seguida, um transformer leve com memoria dupla, o Dual-Memory Video Transformer, propaga esses detalhes por todos os quadros intermediarios do fluxo.

Imagine um restaurador de arte e seu assistente. O restaurador reconstrói cuidadosamente o rosto do personagem em um quadro. O assistente não o desenha novamente do zero: ele transfere esse trabalho com precisão para os quadros vizinhos, levando o movimento em consideração. A memoria dupla serve para reter tanto o contexto recente quanto os quadros de referência.

Esse esquema tem um problema especifico: os erros se acumulam. Se um artefato aparece em um quadro, ele se propaga adiante. Para combater isso, os autores usam aprendizado por reforço com Video-Aware Reference Optimization (VARO), que ensina o sistema a não acumular defeitos ao longo de sequências extensas.

Numeros e hardware

Os resultados anunciados dependem da quantização. Estão disponiveis os pesos INT8 relayvsr_x4_int8_convrot e relayvsr_x2_lightx2v_int8_convrot. Com eles, o sistema entrega 30 quadros por segundo em 1080p em uma unica GPU de consumo e ocupa cerca de 14 GB de VRAM. Na pratica, isso significa uma placa com 16 GB ou mais.

Ha, no entanto, uma ressalva importante. O upscale para 1080p e 4K e possivel, mas, de acordo com a descrição, o processamento realmente em tempo real exige uma A100. Portanto, a afirmação de "tempo real em uma GPU domestica" vale para 1080p; em 4K, sera necessario usar hardware de servidor ou aceitar o processamento offline.

O que fazer com isso

Para quem desenvolve serviços de video, sistemas de streaming, processamento de acervos ou ferramentas de edição, vale a pena experimentar. Os modelos ja estão disponiveis no Hugging Face pela organização Comfy-Org, os autores mantêm uma pagina em kopperx.github.io e o sistema pode ser executado em notebooks do Colab sem a complicação de uma instalação local.

Recomendações praticas:

• Teste seu proprio material para verificar a oscilação de detalhes e o comportamento em cenas rapidas e mudanças de plano: e justamente nesses pontos que os quadros-chave esparsos podem falhar.
• Compare os pesos x2 e x4: para muitas tarefas, um upscale de 2x e suficiente e tende a ser mais estavel.
• Meça a velocidade real em sua GPU em vez de confiar apenas nos numeros do anuncio.

Limitações

Por enquanto, temos as afirmações dos autores e uma integração recente. O artigo não apresenta benchmarks independentes e não informa como o sistema se comporta com conteudo complexo, como texto, graficos pequenos e movimentos bruscos. O upscale generativo também inventa detalhes por natureza, o que representa um risco para usos documentais ou forenses: a imagem pode ficar mais bonita sem necessariamente se tornar mais precisa.

Em resumo: se for confirmado que a combinação de "quadros caros e pouco frequentes mais propagação barata" preserva a qualidade, ela poderá servir como um bom padrão para outras tarefas de video. O RelayVSR ja merece ser testado por quem esbarra na velocidade do upscale, e este e um dos poucos casos em que uma abordagem generativa se aproxima do processamento em tempo real.