Kandinsky S2V anime une photo à partir d'un audio : une vidéo de 10 secondes en 1,5 minute sur H100

Imaginez que vous ayez besoin d'un présentateur virtuel pour un cours en ligne : vous avez une photo d'un collaborateur et une voix off déjà enregistrée, et vous ne voulez pas retourner la vidéo. C'est précisément le cas d'usage de Kandinsky S2V 1.0 (speech-to-video, « de la parole à la vidéo »), que le laboratoire Kandinsky Lab, lié à Sber, a publiée en accès ouvert.

Le modèle prend une photo et une piste audio, puis produit un clip où la personne parle, bouge les mains et change d'expression. La version la plus rapide, Lite distill, calcule 10 secondes de vidéo en 1,5 minute environ sur une carte NVIDIA H100 (une carte serveur destinée à l'entraînement et à l'exécution de modèles). Dans les données d'entraînement, 25,8% de la parole est en russe, ce qui est rare pour des modèles ouverts.

L'auteur d'une revue publiée sur Telegram qualifie S2V de l'un des modèles ouverts de ce type les plus intéressants de ces derniers temps. Voici ce que le modèle sait faire, et ce que coûte son exécution.

Ce qui entre et ce qui sort

Le modèle a besoin de trois éléments : une photo de référence, une piste de parole déjà prête et un prompt texte décrivant la manière dont la personne parle et les émotions qu'elle exprime. Les prompts peuvent être rédigés en anglais et en russe. En sortie, on obtient une vidéo à 25 images par seconde, en résolution standard (SD) ou haute (HD), dans les proportions de la photo d'origine.

Le modèle anime toute la silhouette : mimique, posture, gestes, mains. Dans de nombreux modèles d'avatars, seules les lèvres et la tête bougent ; ici, le rendu est plus vivant. Le modèle ne se limite pas aux humains : parmi les exemples figurent des personnages de dessin animé et des animaux.

Pour une longue séquence de parole, le modèle la découpe en segments de 5 secondes, puis les assemble grâce à une « mémoire visuelle » afin que le personnage ne change pas d'apparence d'un fragment à l'autre. Les mêmes poids génèrent le SD et le HD : il n'a pas été nécessaire d'entraîner un modèle distinct pour le HD.

Le russe a fait l'objet d'une attention particulière : 25,8% de la parole d'entraînement est en russe, et la qualité a en outre été vérifiée sur un jeu de données russophone. C'est important pour les produits locaux, les vidéos et les supports de formation.

Limite : le modèle ne crée pas le son. Il faut un enregistrement existant ou une synthèse vocale (TTS), si bien qu'en production, il faudra monter une chaîne « texte → voix → vidéo ».

Tailles, poids et matériel

Il existe deux versions : Lite, à 2 milliards de paramètres, et Pro, à 21 milliards. Chacune dispose de versions distillées, des variantes allégées qui fonctionnent en 16 étapes et sans CFG (une passe supplémentaire qui renforce le respect du prompt). Selon les auteurs, elles sont 5,4 fois plus rapides que le modèle de base et ne perdent presque rien en qualité. Ce « presque » mérite d'être vérifié sur vos propres cas d'usage.

Le transformeur vidéo (DiT) pèse à lui seul 4,2 Go pour Lite et 39,8 Go pour Pro. Mais avec Qwen2.5-Omni, CLIP et Hunyuan VAE, il faut télécharger environ 25 Go et 65 Go respectivement.

Les exigences en matière de GPU sont élevées : une seule carte NVIDIA avec au moins 48 Go de mémoire, et 80 Go pour le HD. Si l'on active offload.vae_tiling: true dans la configuration, le pic de mémoire descend à environ 28 Go, mais des coutures apparaissent entre les fragments de l'image. Pour une carte grand public de 24 Go, cela reste insuffisant.

Vitesse : combien de temps faut-il attendre

Les mesures sur H100 sont exprimées en secondes de calcul par seconde de vidéo :

• Lite distill (512×768) : 8,7 secondes, soit environ 1,5 minute pour un clip de 10 secondes ;
• Pro distill : 41,5 secondes, soit environ 7 minutes pour 10 secondes ;
• Pro HD (1280×768) : 137 secondes, soit environ 23 minutes pour 10 secondes.

Si l'on répartit le calcul sur plusieurs cartes (4 pour Lite, 8 pour Pro), on obtient 3,8 et 11,4 secondes par seconde de vidéo. L'attente diminue, mais la facture de location des GPU augmente.

Que faire de ce modèle

Lite distill convient aux prototypes : personnages doublés, réponses vidéo d'un assistant, vidéos de formation localisées. Pro et HD sont plutôt à réserver au rendu final, lorsque le niveau de détail compte et que l'on peut attendre. 23 minutes sur H100 pour 10 secondes de HD, ce n'est plus de l'interactif mais du traitement par lots, et mieux vaut calculer l'économie du projet à l'avance.

Pour les produits en russe, le simple fait que les poids soient ouverts compte aussi : on peut exécuter le modèle sur sa propre infrastructure, sans envoyer visages et voix vers des services externes. Le modèle peut être testé dans la démo sur Hugging Face, le code est disponible sur GitHub et les poids sont publiés dans la collection kandinskylab.