NVIDIA ouvre Open-H3-Regenerate-2K-IC : upscaling vidéo jusqu'en 4K sans dérive des visages

Si vous avez déjà fait passer une vidéo générée par un upscaler, vous connaissez cet effet. L'image est plus nette, mais le menton du personnage a dérivé, les lèvres vivent leur vie par rapport à la parole, et l'enseigne à l'arrière-plan s'est transformée en bouillie de pseudo-lettres. NVIDIA a publié en accès libre l'architecture et le code d'Open-H3-Regenerate-2K-IC, qui vise précisément ce problème.

Où était la panne

Les approches précédentes d'upscaling fonctionnaient ainsi : on prend un brouillon de faible qualité, on y mélange du bruit, puis on le « régénère » en haute résolution en trois étapes de diffusion. Le problème est que le bruit efface une partie de l'information. Le modèle ne voit plus à quoi ressemblait exactement le visage, où regardaient les yeux ni quelles lettres figuraient sur la plaque. Il complète les détails à sa guise, d'où la dérive des traits du visage, l'articulation faussée et le texte flou.

Imaginez un restaurateur à qui l'on a donné, au lieu de l'original, une photocopie tachée de café. Il peindra joliment, mais pas forcément ce qui était là.

Ce qui change dans l'architecture IC

IC signifie In-Context. Le brouillon n'est pas bruité. Il est intégralement injecté, tel quel, dans le contexte du transformeur Ref2VA, tandis que la vidéo très détaillée est générée à partir du bruit à côté. À chaque étape de diffusion, le modèle accède directement, via le mécanisme d'attention, aux tokens intacts du brouillon.

Revenons au restaurateur : l'original est désormais sur la table et il s'y réfère à chaque coup de pinceau. Ce qu'il faut peindre, le modèle le décide lui-même, mais ce qu'il y avait à l'origine, il le voit sans déformation.

Selon l'annonce, le schéma fonctionne avec des clips de 5 à 15 secondes. En entrée, des brouillons en 384P et 768P ; en sortie, du 2K et du 4K. La diffusion se fait en 3 étapes à pleine résolution, et le décodage VAE est, selon les auteurs, 5 fois plus rapide que celui de l'API fermée de MiniMax. Nuance importante : le nombre d'étapes (trois) reste le même qu'avant. Le gain ne tient pas à la vitesse en tant que telle, mais au fait que ces trois mêmes étapes s'appuient désormais sur une source intacte.

Que faire de cela en pratique

L'essentiel : l'upscaling propriétaire de MiniMax dispose désormais d'une alternative ouverte. Le code se trouve dans le dépôt NVlabs/Sana ; l'implémentation repose sur les poids H3 et sur le framework ouvert SoL-Refiner. Si votre produit paie actuellement une API d'upscaling fermée, il vaut la peine de passer vos propres vidéos dans ce modèle et de comparer les résultats.

Il vaut mieux tester sur les plans les plus ingrats :

• gros plans avec parole, pour vérifier les lèvres et les expressions ;
• scènes avec enseignes, sous-titres et interfaces, pour vérifier le texte ;
• clips longs, proches de 15 secondes, pour voir si la dérive s'accumule.

Pour les product managers et les studios, c'est le principe lui-même qui est intéressant. Si vous construisez un pipeline « brouillon rapide en basse résolution, rendu final à part », un tel upscaling permet d'itérer à bas coût sur les brouillons sans perdre la reconnaissabilité des personnages en sortie.

Limites

Tous les chiffres proviennent pour l'instant de l'annonce de NVIDIA et d'un post sur la chaîne. Je n'ai vu ni benchmarks indépendants ni comparaisons avec MiniMax sur des données tierces. La quantité de mémoire vidéo nécessaire pour la 4K et la licence des poids ne sont pas précisées dans les documents ; il faut le vérifier dans le dépôt avant d'intégrer le modèle en production.

Par ailleurs, un schéma en contexte fait par définition entrer dans le transformeur à la fois le brouillon et les tokens générés. Pour les longs clips et les hautes résolutions, cela implique généralement des besoins mémoire notables. Seuls des tests montreront à quel point c'est sensible ici.

En résumé : l'idée est claire et juste, sans être révolutionnaire. Ne pas mélanger le modèle avec la source, mais lui laisser la regarder. Si les affirmations se confirment, les pipelines vidéo ouverts tiendront un argument sérieux face à l'API payante.