Tencent entraîne un modèle de 9B à monter de longues vidéos à partir d'un texte, au niveau de Claude Opus 5

L'équipe WeChat Vision de Tencent a dévoilé WeVisCut, un agent qui transforme un texte de narrateur déjà rédigé en vidéo longue avec voix off : découpage en plans, choix des images, synthèse vocale, musique et assemblage final. Les auteurs affirment qu'un seul modèle compact de 9 milliards de paramètres atteint une qualité comparable à celle de Claude Opus 5, tout en consommant nettement moins de tokens générés pour chaque minute de vidéo réussie. La comparaison a été menée dans le même environnement d'outils, sur un nouveau benchmark de 100 tâches.

Pourquoi le montage à partir d'un texte casse aux jointures

Dans une vidéo longue, toutes les décisions sont liées. Si l'on modifie la durée d'un plan, les timecodes de tous les plans suivants se décalent. Si une image ne convient pas, il faut rechercher de nouveau du matériel et, peut-être, revoir le plan d'une série entière de séquences. Les éditeurs agentiques existants assemblent généralement une chaîne d'étapes à partir de grands modèles généralistes. Mais avec cette approche, on ne sait pas comment obtenir un modèle compact qui tienne la qualité sans brûler des tokens.

Le texte du narrateur lui-même ne peut pas être modifié : la tâche consiste à construire une vidéo du format et de la durée voulus autour d'une voix off figée.

Comment est conçu l'environnement dans lequel travaille l'agent

Autour du modèle, les auteurs ont construit une « enveloppe » dotée d'un état partagé du projet. Elle consigne quelle partie du texte est couverte, dans quel ordre se suivent les plans, quels fichiers existent déjà et quels problèmes subsistent. Ce qui est prévu et ce qui est réellement fait sont enregistrés séparément.

Le modèle joue trois rôles :

• l'orchestrateur choisit l'outil et ses arguments ; • le générateur produit un contenu structuré, par exemple le texte d'habillage d'un plan ; • le critique examine le résultat, puis exige ou vérifie les corrections.

Les outils couvrent tout le cycle : découpage du texte en segments, plan des prises de vue, recherche de visuels, synthèse vocale, gabarits d'habillage des plans d'accentuation, recherche de musique de fond, assemblage de la timeline, rendu, contrôle qualité, réparation et montage final. L'ordre n'est pas codé en dur : le modèle choisit l'étape suivante en fonction de l'état courant.

L'environnement vérifie chaque appel. Si l'on demande l'assemblage sans plans ni musique prêts, il renvoie un « bloqueur » avec la liste de ce qui manque, et l'orchestrateur commence par produire les éléments manquants. Pour les plans d'accentuation, un modèle visuel faisant office de juge évalue la qualité. Les corrections sont ciblées : si l'on a corrigé l'habillage, la voix off n'est pas régénérée. Le nombre de tentatives de réparation est limité, mais cette limite n'annule pas les exigences de livraison : sans les fichiers requis, la vidéo finale n'est pas validée.

Comment les vidéos finies ont fourni des données d'entraînement

Une vidéo finie ne conserve que les répliques et la structure des plans, pas les appels d'outils, les erreurs ni les corrections. Les auteurs ont donc monté un pipeline en quatre étapes sur 3 750 vidéos de Bilibili (technologies et produits numériques, business et finance, sciences naturelles, sciences sociales et thèmes humanistes) :

• Reconstitution de l'intention. On extrait de la vidéo les répliques avec leurs timecodes, la structure des plans et le rattachement de chaque phrase à un plan. On obtient un storyboard, et non les actions du monteur d'origine. • Exécution vérifiée. Le storyboard est exécuté avec les mêmes outils qu'en production. L'environnement contrôle les liens vers les fichiers, la durée de l'audio, les entrées des gabarits, les positions sur la timeline et le rendu final. • Inspection et réparation. Si l'exécution révèle des défauts, ils sont corrigés de façon ciblée, en conservant les artefacts réussis. • Assemblage des exemples. Les enregistrements des appels, des réponses et des corrections sont répartis par rôle en exemples d'entraînement.

Le résultat : plus de 130 000 exemples.

Entraînement et évaluation

L'entraînement se déroule en deux étapes. D'abord, un fine-tuning unifié sur les exemples, suivi d'un fine-tuning sur des exécutions réussies sélectionnées et validées par l'environnement : le modèle apprend ainsi les outils et la reprise après incident. Vient ensuite Guided-OPD : le professeur et l'élève jouent à tour de rôle, et l'intervention du professeur est progressivement retirée, afin que le modèle apprenne à partir des états dans lesquels il se retrouve lui-même. Les récompenses ne sont ensuite comparées qu'au sein d'un même rôle et d'un même contexte.

Le benchmark comprend 100 tâches et cinq métriques : fidélité au texte, adéquation de l'image à la voix off, respect du plan temporel, cohérence sur la longue durée et part de vidéos livrées avec succès. Ces métriques relient la vidéo au scénario et au plan, et pas seulement au fait que le rendu a abouti.

Le système fait mieux que son modèle de base et surpasse les éditeurs spécialisés conçus pour la même tâche. Un précédent travail sur l'environnement Crayotter avait lui aussi entraîné un modèle de 9B, mais sur les préférences portant sur la vidéo finale et sur des tâches composées à la main. Ici, le modèle apprend sur des trajectoires exécutables.

Pour les ingénieurs, la conclusion est la suivante : un environnement qui vérifie chaque étape et enregistre les erreurs produit des données d'entraînement, et pas seulement une protection contre les pannes. Pour les entreprises : un petit modèle placé dans le bon environnement peut remplacer une API généraliste coûteuse dans la production de masse de vidéos explicatives (explainers). Le code, la page du projet et les poids sont publiés sur GitHub et Hugging Face.