Sber ouvre Kandinsky Avatar : des avatars parlants jusqu'à 60 secondes et 24 images/s

Un avatar parlant semble une fonctionnalité simple, jusqu'à la première tentative de l'intégrer dans un produit. Il faut synchroniser les lèvres avec la parole, conserver le visage, ajouter une mimique et des mouvements naturels, puis maintenir le tout sans artefacts visibles ne serait-ce qu'une minute. Sber a ouvert le code source et les poids de Kandinsky Avatar 1.0, un modèle qui résout cette tâche à partir d'une image, d'un enregistrement audio et d'une description textuelle de la scène.

En sortie, on obtient une vidéo pouvant durer jusqu'à 60 secondes à 24 images/s. Le modèle anime l'articulation, la mimique, les rotations de la tête et les gestes. Ce n'est plus une courte « animation de photo » de quelques secondes, mais une base pour un conseiller virtuel, une explication pédagogique ou une vidéo localisée.

À quoi cela ressemble en pratique

Imaginons qu'un service éducatif doive publier de courtes explications en plusieurs langues. L'équipe prend le portrait d'un présentateur, enregistre ou synthétise la réplique voulue et décrit la scène par texte. Kandinsky Avatar assemble la vidéo en accordant le mouvement des lèvres à l'audio et en ajoutant des mouvements non verbaux.

Deux versions sont proposées aux développeurs. Pro génère de la vidéo HD et vise une qualité supérieure. Sber affirme que le résultat est comparable à HeyGen IV, mais il s'agit d'une comparaison faite par le développeur lui-même : sans tests indépendants, elle doit être vue comme un repère et non comme une parité démontrée. Lite produit de la vidéo SD et, selon l'équipe, peut fonctionner sur une carte graphique grand public. C'est Lite qui est la plus intéressante pour les prototypes, les installations locales et les scénarios où l'on ne peut pas envoyer les visages ou les voix des utilisateurs vers un service externe.

Le modèle a été entraîné sur plus d'un million d'extraits vidéo avec de la parole dans 95 langues. Cela indique une large couverture linguistique des données d'entraînement, mais ne garantit pas une qualité identique pour chaque langue, chaque accent et chaque type de visage. Avant le déploiement, il faudra tester ses propres voix, le rythme de parole, les rotations de la tête et les phonèmes complexes.

Ce que gagne une équipe produit

L'essentiel n'est pas une nouvelle démonstration spectaculaire d'avatar, mais la possibilité d'intégrer la génération dans sa propre chaîne de traitement. Les modèles ouverts sont autorisés à un usage commercial ; on peut donc bâtir dessus des conseillers virtuels, des services de localisation, des produits éducatifs et des outils de création de contenu vidéo.

L'exécution locale change aussi l'économie et le contrôle des données. L'équipe peut choisir elle-même son infrastructure, conserver les images et l'audio source dans son périmètre, générer des vidéos par lots et ne pas dépendre de la tarification d'une API externe. Mais code ouvert ne signifie pas exploitation gratuite : les coûts des cartes graphiques, du stockage, de la file de tâches, de la modération et du contrôle qualité demeurent.

Que vérifier avant le déploiement

La description publiée ne contient pas assez de données sur la vitesse de génération, la mémoire vidéo requise, la latence, la stabilité des vidéos longues et la qualité selon les langues. Les résultats d'une comparaison indépendante avec les concurrents commerciaux ne sont pas non plus divulgués. Il vaut donc mieux commencer non par une intégration dans le produit principal, mais par un petit ensemble de scénarios réels.

Rassemblez 20 à 30 répliques types, ajoutez différentes voix, visages et langues, puis mesurez le temps de génération, le coût d'une minute de vidéo et la part des vidéos qui passent la vérification manuelle sans retouche. Vérifiez séparément le consentement de la personne à l'utilisation de son apparence et de sa voix, l'étiquetage des vidéos synthétiques et la protection contre la création de vidéos sans autorisation.

La conclusion pratique est simple : Kandinsky Avatar 1.0 offre aux équipes une base ouverte pour les avatars parlants, particulièrement précieuse en déploiement local. Mais la promesse d'une qualité au niveau de HeyGen IV doit encore être confirmée sur vos propres données et votre propre matériel.