NVIDIA abre o Open-H3-Regenerate-2K-IC: upscale de vídeo para 4K sem deriva nos rostos

Se você já passou um vídeo gerado por um upscaler, conhece o efeito. A imagem ficou mais nítida, mas o queixo do protagonista se deformou, os lábios vivem separados da fala e a placa ao fundo virou uma papa de pseudoletras. A NVIDIA publicou em código aberto a arquitetura e o código do Open-H3-Regenerate-2K-IC, que mira exatamente esse problema.

Onde estava a falha

As abordagens anteriores para esse tipo de upscale funcionavam assim: pega-se um rascunho de baixa qualidade, adiciona-se ruído e, em três passos de difusão, «regenera-se» o vídeo em alta resolução. O problema é que o ruído apaga parte da informação. O modelo deixa de ver como exatamente era o rosto, para onde os olhos olhavam e quais letras havia na placa. Ele completa os detalhes a seu gosto, daí a deriva dos traços faciais, a articulação desencontrada e o texto borrado.

Imagine um restaurador que, em vez do original, recebeu uma fotocópia manchada de café. Ele vai pintar algo bonito, mas não necessariamente o que existia.

O que mudou na arquitetura IC

IC significa In-Context. O rascunho não recebe ruído. Ele entra por inteiro, em estado limpo, no contexto do transformer Ref2VA, e o vídeo de alto detalhe é gerado a partir de ruído ao lado dele. A cada passo de difusão, o modelo recorre, por meio do mecanismo de atenção, diretamente aos tokens intactos do rascunho.

Voltando ao restaurador: agora o original está sobre a mesa, e ele o consulta a cada pincelada. O que pintar exatamente, o modelo decide por conta própria, mas o que havia originalmente ele vê sem distorção.

Segundo o anúncio, o esquema funciona com clipes de 5 a 15 segundos. A entrada são rascunhos em 384P e 768P, e a saída, 2K e 4K. A difusão ocorre em 3 passos na resolução total, e a decodificação VAE, segundo os autores, é 5 vezes mais rápida que a da API fechada da MiniMax. Um detalhe importante: o número de passos (três) continua o mesmo de antes. O ganho não está na velocidade em si, mas no fato de que esses mesmos três passos agora se apoiam numa fonte intacta.

O que fazer com isso na prática

O principal: o upscale proprietário da MiniMax agora tem uma alternativa aberta. O código está no repositório NVlabs/Sana, e a implementação é construída sobre os pesos H3 e o framework aberto SoL-Refiner. Se o seu produto hoje paga por uma API fechada de upscale, vale testar seus próprios clipes neste modelo e comparar os resultados.

O melhor é testar nos quadros mais incômodos:

• closes com fala, para verificar lábios e expressões;
• cenas com placas, legendas e interfaces, para verificar o texto;
• clipes longos, próximos de 15 segundos, para ver se a deriva se acumula.

Para times de produto e estúdios, o interessante é o próprio princípio. Se você monta um pipeline de «rascunho rápido em baixa resolução, render final separado», esse upscale permite iterar barato nos rascunhos sem perder a reconhecibilidade dos personagens na saída.

Limitações

Todos os números, por enquanto, vêm do anúncio da NVIDIA e de uma publicação em um canal. Não vi benchmarks independentes nem comparações com a MiniMax em dados de terceiros. Quanta memória de vídeo é necessária para 4K e qual é a licença dos pesos não consta nos materiais; isso deve ser verificado no repositório antes de colocar o modelo em produção.

Além disso, um esquema em contexto, por definição, puxa para o transformer tanto o rascunho quanto os tokens gerados. Para clipes longos e altas resoluções, isso costuma significar requisitos de memória notáveis. Quão perceptível isso é aqui, só os testes mostrarão.

Em resumo: a ideia é clara e correta, ainda que não revolucionária. Não misturar o modelo com a fonte, mas deixá-lo olhar para ela. Se as afirmações se confirmarem, os pipelines de vídeo abertos terão um argumento sério contra uma API paga.