Tencent entrena un modelo de 9B que monta vídeos largos a partir de texto con un nivel comparable al de Claude Opus 5

El equipo WeChat Vision de Tencent presentó WeVisCut, un agente que convierte el texto de un locutor en un vídeo largo con voz en off: lo divide en planos, selecciona imágenes, añade locución y música, y hace el montaje final. Los autores afirman que un solo modelo compacto de 9 mil millones de parámetros ofrece una calidad comparable a la de Claude Opus 5 y que, por cada minuto de vídeo logrado, gasta bastantes menos tokens generados. La comparación se hizo en el mismo entorno de herramientas, con un nuevo benchmark de 100 tareas.

Por qué el montaje a partir de texto falla en las uniones

En un vídeo largo, todas las decisiones están encadenadas. Si cambias la duración de un plano, se desplazan los códigos de tiempo de todos los siguientes. Si una imagen no encaja, hay que volver a buscar material y, posiblemente, revisar el plan de toda una serie de planos. Los editores agénticos actuales suelen montar una cadena de etapas con grandes modelos generalistas. Con ese enfoque, sin embargo, no está claro cómo obtener un modelo compacto que mantenga la calidad sin quemar tokens.

El texto del locutor no se puede modificar: la tarea consiste en montar un vídeo con el formato y la duración requeridos en torno a una locución fija.

Cómo es el entorno en el que trabaja el agente

Alrededor del modelo se construyó una infraestructura de soporte con un estado compartido del proyecto. Ahí se registra qué parte del texto está cubierta, en qué orden van los planos, qué archivos ya se han creado y qué problemas quedan pendientes. Lo planificado y lo realmente ejecutado se anotan por separado.

El modelo desempeña tres roles:

• el orquestador elige la herramienta y los argumentos; • el generador produce contenido estructurado, por ejemplo el texto para el diseño de un plano; • el crítico examina el resultado y exige o comprueba las correcciones.

Las herramientas cubren todo el ciclo: división del texto en segmentos, plan de planos, búsqueda de material visual, síntesis de voz, plantillas de diseño para planos de énfasis, búsqueda de música de fondo, ensamblaje de la línea de tiempo, renderizado, control de calidad, reparación y unión final. El orden no está fijado de antemano: el modelo elige el siguiente paso según el estado actual.

El entorno valida cada llamada. Si se pide la unión final sin planos ni música listos, devuelve un «bloqueo» con la lista de lo que falta, y el orquestador primero completa lo pendiente. En los planos de énfasis, un modelo visual actúa como juez y evalúa la calidad. Las correcciones son puntuales: si se arregla el diseño, no se vuelve a generar la locución. El número de intentos de reparación es limitado, pero ese límite no elimina los requisitos de entrega: sin los archivos necesarios, el vídeo final no se da por válido.

Cómo se obtuvieron datos de entrenamiento a partir de vídeos terminados

Un vídeo terminado solo conserva las líneas de locución y la estructura de planos, pero no las llamadas a herramientas, los errores ni las correcciones. Por eso los autores montaron un pipeline de cuatro pasos sobre 3 750 vídeos de Bilibili (tecnología y productos digitales, negocios y finanzas, ciencias naturales, y ciencias sociales y humanidades):

• Reconstrucción del planteamiento. Del vídeo se extraen las líneas con sus códigos de tiempo, la estructura de planos y la asignación de cada frase a un plano. El resultado es un storyboard, no las acciones del montador original. • Ejecución verificada. El storyboard se ejecuta con las mismas herramientas que en producción. El entorno comprueba las referencias a archivos, la duración del audio, las entradas de las plantillas, las posiciones en la línea de tiempo y el renderizado final. • Revisión y reparación. Si la ejecución produce defectos, se corrigen de forma puntual y se conservan los artefactos correctos. • Construcción de ejemplos. Los registros de llamadas, respuestas y correcciones se reparten por roles en ejemplos de entrenamiento.

El resultado son más de 130 mil ejemplos.

Entrenamiento y evaluación

El entrenamiento se desarrolla en dos etapas. Primero, un ajuste fino unificado con los ejemplos y otro con las ejecuciones exitosas seleccionadas y validadas por el entorno; así el modelo aprende a usar las herramientas y a recuperarse de los fallos. Después viene Guided-OPD: profesor y alumno se turnan, y la intervención del profesor se retira poco a poco para que el modelo aprenda de los estados a los que llega por sí mismo. A continuación, las recompensas se comparan solo dentro de un mismo rol y un mismo contexto.

El benchmark incluye 100 tareas y cinco métricas: fidelidad al texto, correspondencia entre imagen y locución, cumplimiento del plan de tiempos, coherencia a larga distancia y proporción de vídeos entregados con éxito. Las métricas vinculan el vídeo con el guion y el plan, y no solo con el hecho de que el renderizado haya salido bien.

El sistema mejora a su modelo base y supera a los editores especializados en esta misma tarea. Un trabajo anterior sobre el entorno Crayotter también entrenó un modelo de 9B, pero lo hizo a partir de preferencias sobre el vídeo final y con tareas redactadas a mano. Aquí el modelo aprende de trayectorias ejecutables.

Para los ingenieros, la conclusión es esta: un entorno que verifica cada paso y registra los errores genera datos de entrenamiento, y no solo protege frente a fallos. Para las empresas: un modelo pequeño en el entorno adecuado puede sustituir a una costosa API generalista en la producción masiva de vídeos explicativos (explainers). El código, la página del proyecto y los pesos están publicados en GitHub y Hugging Face.