Kling dévoile comment il apprend à son modèle vidéo à obéir au réalisateur : deux juges et un enrichisseur de prompts intelligent

Tous ceux qui ont essayé de piloter un générateur vidéo connaissent cette frustration : on écrit « fais comme ici » et l'on obtient l'arrière-plan d'un autre, un éclairage superflu et un héros dont la main se déforme. L'équipe de Kling a publié un préprint où elle explique en détail comment elle tente de résoudre ce problème. La conclusion est inattendue : les pixels ne sont plus le principal goulot d'étranglement. Tout dépend de la façon dont le modèle comprend ce qu'on attend de lui.

Une annotation façon feuille de montage

La première couche de la solution concerne les données. Les légendes vidéo classiques, du type « un homme court », obligent le modèle de diffusion à deviner les détails au hasard. L'article analyse une séquence de 18 secondes où la description standard a confondu une coupe franche avec une transition fluide et n'a pas remarqué qu'une réplique commençait avant l'apparition du héros. Si de tels détails se perdent dans les textes d'entraînement, le modèle n'apprendra pas à les contrôler.

Kling rédige donc des descriptions aussi denses que possible : poses, matières, angles de prise de vue, trajectoires de mouvement. L'équipe parle d'un « contrat sémantique » entre le texte et la vidéo. Pour le mode image-to-video, elle ajoute une liaison entre les parties de l'image source et les objets de la description.

Les rôles des références font l'objet d'un apprentissage distinct : le visage vient de la première image, la veste de la seconde, le mouvement de caméra de la vidéo, et rien d'autre. Sans liaison explicite, « fais comme ici » devient « prends aussi l'arrière-plan et l'éclairage ».

Un enrichisseur de prompts qui voit le résultat

Les utilisateurs écrivent des prompts de trois à cinq mots. L'enrichisseur les traduit dans le langage du modèle. On lui apprend d'abord à réécrire les requêtes dans le style de descriptions détaillées. Ensuite, pour une même requête, plusieurs versions du prompt sont produites, les vidéos sont générées puis évaluées. La récompense dépend de la qualité de la vidéo, et non de l'élégance du texte.

Il existe aussi un effet secondaire assumé. Le résultat est devenu plus stable, mais les variantes les plus expressives en ont pâti. Si le juge sanctionne les artefacts, il est plus avantageux de choisir un mouvement de caméra sûr, que le modèle maîtrise déjà. Une histoire classique : on optimise la fiabilité, on perd en éclat.

Deux juges et les leçons de cette expérience

Kling dispose de deux évaluateurs. Le premier explique où et pourquoi cela a mal tourné : doigts flous, lumière clignotante. Le second attribue rapidement des notes sur le mouvement, la qualité de l'image et la conformité à la requête ; c'est lui qui sert à l'apprentissage par renforcement à grande échelle. Le juge doit voir suffisamment d'images, faute de quoi il manquera un défaut qui ne dure qu'une fraction de seconde.

Autre enseignement intéressant : brancher un modèle de langage plus « intelligent » comme encodeur de texte n'améliore pas la vidéo. L'encodeur a besoin d'un apprentissage perceptif : relations spatiales, optique, composition, plutôt que des tâches logiques. La partie multimodale de Kling-MLLM a été initialisée à partir de la famille Qwen, avec l'ajout du traitement du son. La vidéo elle-même est générée par un modèle distinct.

Que faire concrètement de tout cela

Pour les développeurs et les product managers qui construisent des produits autour de la génération vidéo, l'article suggère plusieurs enseignements.

Premièrement, si vous affinez ou évaluez des modèles vidéo, la qualité de l'annotation compte plus que la taille du modèle. Des descriptions denses, structurées comme un montage, offrent un contrôle que les légendes courtes n'apportent pas.

Deuxièmement, si vous concevez une interface avec plusieurs références, laissez l'utilisateur indiquer explicitement ce qu'il faut retenir de chacune. Le modèle peut l'apprendre, mais l'interface doit aussi savoir exprimer l'intention.

Troisièmement, surveillez le modèle de récompense. Tout juge pousse la génération vers la prudence, et si vous optimisez uniquement l'absence d'artefacts, vous obtiendrez une vidéo ennuyeuse. Il faut un équilibre de métriques : mouvement, image, conformité à la requête et, séparément, expressivité.

Enfin, séparez la compréhension du rendu. Kling construit en réalité tout un système autour du générateur : annotateur, enrichisseur, juges. Pour l'industrie, c'est un signal : l'avantage concurrentiel des modèles vidéo se déplace de la taille du transformeur de diffusion vers la qualité des données et du retour d'information.

La limite est évidente : il s'agit d'un préprint rédigé par l'équipe elle-même, sans mesures indépendantes, et la contribution de chaque composant n'est pas détaillée. Mais comme carte de la direction que prend la génération vidéo, le texte est utile.