Tencent ouvre Hy-Nomas : un monde vidéo doté de mémoire, en 720p, tourne sur une seule RTX 4090

Les modèles vidéo classiques ressemblent à une caméra à la mémoire courte : ils génèrent une séquence, puis chaque nouveau segment risque de vivre sa propre vie. La pièce que vous veniez de voir a changé d'aspect dix secondes plus tard. Tencent a publié en accès ouvert Hy-Nomas, un « modèle de monde » qui construit un espace virtuel segment par segment et tient compte de ce qui a déjà été montré.

Exemple : vous marchez dans une rue générée, vous écrivez « qu'il se mette à pleuvoir » et vous retournez la caméra en arrière. La rue doit rester la même, mais mouillée. La mémoire repose sur le KV-cache (le cache des états internes du transformeur), l'image sort en 720p à 24 images par seconde, et le modèle peut tourner sur une seule carte graphique RTX 4090 de 24 Go de mémoire.

Pour un développeur, c'est l'occasion de tester un tel modèle en local, sans cluster, mais avec des réserves détaillées plus bas.

Ce que sait faire Hy-Nomas

Le modèle génère le monde segment après segment. L'utilisateur modifie ce qui se passe par des commandes textuelles, pilote le mouvement de la caméra et poursuit la génération en tenant compte des scènes précédentes. Pour ne pas perdre le fil entre les segments vidéo, Hy-Nomas conserve le contexte dans le KV-cache : le modèle n'a pas besoin de « relire » tout l'historique à chaque fois. L'historique actif est toutefois limité, la mémoire du modèle n'est donc pas infinie.

En sortie, on obtient une vidéo 720p à 24 images par seconde, avec 8 étapes de diffusion pour la génération. C'est relativement peu : l'approche vise le côté pratique, et non la qualité maximale à tout prix.

Sous le capot et comment le lancer

L'architecture est un MMDiT autorégressif par segments, avec 54 blocs. Le texte est compris par l'encodeur Qwen2.5-VL-7B. DCAE-V assure la compression vidéo, PixelUMM le décodage. Parmi les variantes prêtes à l'emploi figurent des adaptateurs LoRA (de petites couches additionnelles affinées) : Cinematic et Robotics. Le second a notamment été adapté sur des données vidéo de bras manipulateurs robotisés. On peut donc l'essayer non seulement pour de belles scènes, mais aussi pour simuler la manière dont un bras de robot manipule des objets.

Pour ceux qui n'ont pas de ferme de serveurs, Tencent a prévu un lancement sur une seule RTX 4090 de 24 Go de mémoire vidéo. Cela passe par la quantification INT8/FP8, la limitation de l'historique actif et le déchargement d'une partie des données vers le CPU. Mais cela ne signifie pas une génération en temps réel : Tencent n'a pas communiqué de vitesse officielle sur RTX 4090, il ne faut donc pas s'attendre à une réactivité de jeu vidéo. Il faudra attendre chaque segment.

Une seconde limite existe : il s'agit de vidéo. Il n'y a pas d'export 3D, ce qui veut dire qu'on ne pourra pas charger la scène dans un moteur de jeu pour s'y promener librement. Vous obtenez une suite d'images qui ressemble à un monde.

Licence et écosystème

Le projet est publié sous Apache 2.0, qui autorise aussi l'usage commercial. Certains composants tiers peuvent toutefois avoir leurs propres licences : avant une mise en production, mieux vaut donc vérifier toute la chaîne, y compris l'encodeur et les décodeurs.

La force d'une publication ouverte se voit déjà : des intégrations tierces sont apparues pour ComfyUI, SGLang, WanGP et Reactor, ainsi que les premières applications expérimentales. Hier, Tencent a ajouté à la liste des projets tiers Prelulu, dont les auteurs présentent des mini-dramas interactifs avec dialogues et variantes alternatives du déroulement de l'histoire. C'est un bon indicateur de la direction que prennent ces modèles : non pas vers un « jeu de rêve », mais vers une vidéo interactive où le spectateur influe sur le scénario.

Que faire de tout cela

Si vous développez des outils créatifs ou des prototypes de jeux, Hy-Nomas mérite d'être installé et testé : la démo, le code et les poids sont déjà disponibles, et le nœud pour ComfyUI intègre le modèle dans un pipeline familier. Pour les roboticiens, l'adaptateur Robotics est intéressant comme moyen d'obtenir des vidéos synthétiques de manipulations. Les product managers devront évaluer si l'utilisateur supportera l'attente de la génération dans des scénarios comme les histoires interactives et les simulations pédagogiques.

Il ne faut pas attendre de cette publication un remplaçant clé en main d'un moteur de jeu : pas de 3D, pas de temps réel confirmé, une mémoire limitée. Mais comme base ouverte pour expérimenter avec des mondes qui se souviennent de leur propre histoire, c'est aujourd'hui l'une des options les plus accessibles.