NVIDIA abre Open-H3-Regenerate-2K-IC: escalado de vídeo a 4K sin deriva en los rostros

Si alguna vez has pasado vídeo generado por un escalador, conoces el efecto. La imagen es más nítida, pero la barbilla del protagonista se ha deformado, los labios van por su cuenta respecto al habla y el letrero del fondo se ha convertido en una papilla de pseudoletras. NVIDIA ha publicado en abierto la arquitectura y el código de Open-H3-Regenerate-2K-IC, que apunta precisamente a este problema.

Dónde estaba el fallo

Los enfoques anteriores de este tipo de escalado funcionaban así: se toma un borrador de baja calidad, se le añade ruido y, en tres pasos de difusión, se lo «regenera» en alta resolución. El problema es que el ruido borra parte de la información. El modelo ya no ve cómo era exactamente el rostro, hacia dónde miraban los ojos ni qué letras había en el cartel. Completa los detalles a su gusto, de ahí la deriva de los rasgos faciales, la articulación desajustada y el texto borroso.

Imagina a un restaurador al que, en lugar del original, le dan una fotocopia manchada de café. Pintará algo bonito, pero no necesariamente lo que había.

Qué cambió en la arquitectura IC

IC significa In-Context. El borrador no se satura de ruido. Entra completo, en estado limpio, en el contexto del transformer Ref2VA, y el vídeo de alto detalle se genera a partir de ruido junto a él. En cada paso de difusión, el modelo accede mediante el mecanismo de atención directamente a los tokens intactos del borrador.

Volviendo al restaurador: ahora el original está sobre la mesa y lo consulta en cada pincelada. Qué pintar exactamente lo decide el modelo, pero lo que había originalmente lo ve sin distorsión.

Según el anuncio, el esquema funciona con clips de entre 5 y 15 segundos. La entrada son borradores de 384P y 768P, y la salida, 2K y 4K. La difusión se hace en 3 pasos a resolución completa, y la decodificación VAE, según los autores, es 5 veces más rápida que la de la API cerrada de MiniMax. Un matiz importante: el número de pasos (tres) sigue siendo el mismo. La ventaja no está en la velocidad como tal, sino en que esos mismos tres pasos ahora se apoyan en una fuente intacta.

Qué hacer con esto en la práctica

Lo principal: el escalado propietario de MiniMax ya tiene una alternativa abierta. El código está en el repositorio NVlabs/Sana, y la implementación se basa en los pesos H3 y en el framework abierto SoL-Refiner. Si tu producto paga actualmente por una API cerrada de escalado, conviene probar tus propios clips con este modelo y comparar resultados.

Lo mejor es probar con los planos más incómodos:

• primeros planos con habla, para comprobar labios y gestos;
• escenas con letreros, títulos e interfaces, para comprobar el texto;
• clips largos, cercanos a los 15 segundos, para ver si se acumula la deriva.

Para equipos de producto y estudios, lo interesante es el principio en sí. Si montas un pipeline de «borrador rápido en baja resolución y render final por separado», este escalado permite iterar barato con borradores sin perder el reconocimiento de los personajes en la salida.

Limitaciones

Todas las cifras proceden por ahora del anuncio de NVIDIA y de una publicación en un canal. No he visto benchmarks independientes ni comparaciones con MiniMax sobre datos de terceros. Cuánta memoria de vídeo hace falta para 4K y qué licencia tienen los pesos no se indica en los materiales; hay que comprobarlo en el repositorio antes de llevar el modelo a producción.

Además, un esquema en contexto, por definición, mete en el transformer tanto el borrador como los tokens generados. Para clips largos y altas resoluciones, esto suele implicar requisitos de memoria notables. Cuánto se nota aquí, solo lo dirán las pruebas.

En resumen: la idea es clara y acertada, aunque no revolucionaria. No mezclar el modelo con el original, sino dejar que lo mire. Si las afirmaciones se confirman, los pipelines de vídeo abiertos tendrán un argumento serio frente a una API de pago.