Vimoo ouvre les poids de son générateur vidéo de 11,7 milliards de paramètres : 5 secondes en 720p

Le marché des générateurs vidéo ouverts accueille un nouvel acteur, et ce qui intéresse ici, c'est moins le modèle lui-même que sa façon d'être assemblé. L'entreprise Vimoo a publié les poids de la famille Vimoo 1.0 pour la génération de vidéo à partir de texte (T2V) et d'image (I2V). Elle n'a pas tout entraîné de zéro. Elle a plutôt construit un hybride de briques ouvertes existantes autour de son propre noyau.

Ce qu'il y a à l'intérieur

Le noyau est un transformeur de diffusion à double flux (Dual-Stream MMDiT) de 11,7 milliards de paramètres. « Double flux » signifie que les tokens textuels et visuels suivent des branches séparées et interagissent via l'attention. Un schéma similaire est utilisé par de nombreux générateurs d'images modernes.

Autour du noyau se trouvent des composants tiers :

• Le VAE vidéo de Wan 2.2, avec une compression de 4×16×16 et 48 canaux latents. Il convertit les images en une représentation latente compacte, sur laquelle travaille le transformeur.
• Qwen2.5-VL-7B se charge du sens du prompt : ce que contient la scène, qui fait quoi.
• Glyph-ByT5-v2 est un encodeur au niveau du caractère dédié à la typographie. Son rôle est d'éviter qu'une enseigne ou un titre dans l'image ne se transforme en bouillie de pseudo-lettres.
• Google SigLIP, en mode I2V, conserve les détails de l'image de référence afin que le personnage ne change pas à la troisième seconde.

La génération de base produit 5 secondes : 121 images à 24 FPS en résolution 720p. Pour le 1080p, un modèle génératif de restauration distinct, Vimoo Enhancer, est proposé. Il ne se contente pas d'étirer l'image : il redessine les détails.

Concrètement, ça donne quoi

Imaginez que vous réalisiez une publicité pour un café. Vous avez besoin d'une scène où le barista pose une tasse sur le comptoir, tandis que le nom de l'établissement se lit sur la vitre à l'arrière-plan. Avec un générateur ouvert classique, le texte sur la vitre sera presque certainement déformé. Ici, un encodeur dédié s'en charge, ce qui donne au modèle une chance de mieux s'en sortir. De combien ? On l'ignore pour l'instant, car le billet ne présente aucune comparaison indépendante.

En mode I2V, vous fournissez une image avec une tasse à l'effigie de la marque, et SigLIP aide à préserver son apparence pendant le mouvement. Ensuite, le brouillon en 720p peut être passé dans Enhancer pour obtenir du 1080p.

L'intérêt principal de cette approche est que chaque bloc peut être remplacé ou mis à jour séparément. Un meilleur encodeur sort ? Vous le changez sans tout réentraîner. Pour les équipes qui construisent leurs propres pipelines vidéo, c'est un bon modèle d'architecture.

Limites et marche à suivre

Commençons par ce que nous ignorons. Le billet ne contient ni benchmarks, ni exemples de générations, ni comparaison avec Wan 2.2, sur le VAE duquel le modèle est en partie construit. Aucune donnée sur la mémoire vidéo requise ni sur la vitesse d'inférence. La licence des poids doit elle aussi être vérifiée séparément avant d'intégrer le modèle à un produit commercial. Cinq secondes de vidéo, c'est un court clip, pas une scène. Pour des vidéos longues, il faudra assembler des fragments et veiller à la cohérence des personnages.

Ce que doivent faire développeurs et product managers :

• Téléchargez les poids depuis Hugging Face et testez vos 10 à 20 prompts habituels, en particulier ceux avec du texte dans l'image. C'est la seule façon honnête de vérifier les affirmations.
• Comparez le résultat avec Wan 2.2 sur les mêmes requêtes. Si l'écart est faible, il n'y a aucune raison de changer de stack.
• Lisez le rapport technique et la licence avant tout projet de mise en production.
• Si vous construisez votre propre générateur, envisagez l'assemblage modulaire comme moyen d'économiser des mois d'entraînement.

La conclusion est simple. Ce n'est pas une percée, mais un assemblage d'ingénierie soigné de bonnes briques ouvertes. Il est intéressant comme exemple concret et comme option supplémentaire pour l'auto-hébergement. Seuls des tests sur des cas réels diront si Vimoo 1.0 deviendra quelque chose de plus grand.