Tencent treina modelo de 9B que monta vídeos longos a partir de texto em nível comparável ao Claude Opus 5

A equipe WeChat Vision, da Tencent, apresentou o WeVisCut, um agente que transforma o texto de um narrador em um vídeo longo com locução: ele divide o conteúdo em quadros, escolhe imagens, gera a voz e a música e faz a montagem final. Os autores afirmam que um único modelo compacto, de 9 bilhões de parâmetros, tem qualidade comparável à do Claude Opus 5 e gasta bem menos tokens gerados para cada minuto de vídeo concluído com sucesso. A comparação foi feita no mesmo ambiente de ferramentas, em um novo benchmark de 100 tarefas.

Por que a montagem a partir de texto falha nas emendas

Em um vídeo longo, todas as decisões estão conectadas. Mudar a duração de um quadro desloca os timecodes de todos os seguintes. Se uma imagem não serve, é preciso buscar outro material e, possivelmente, rever o plano de uma série inteira de quadros. Os editores agênticos existentes costumam montar uma cadeia de etapas com grandes modelos de uso geral. Mas, com essa abordagem, não está claro como obter um modelo compacto que mantenha a qualidade sem queimar tokens.

O texto do narrador não pode ser alterado: a tarefa é montar um vídeo no formato e na duração desejados em torno de uma locução fixa.

Como é o ambiente em que o agente trabalha

Em volta do modelo foi construída uma “estrutura de suporte” com um estado compartilhado do projeto. Ali ficam registrados qual parte do texto já foi coberta, a ordem dos quadros, quais arquivos já foram criados e quais problemas continuam abertos. O que foi planejado e o que foi de fato executado são registrados separadamente.

O modelo desempenha três papéis:

• o orquestrador escolhe a ferramenta e os argumentos; • o gerador produz conteúdo estruturado, por exemplo o texto para o design de um quadro; • o crítico examina o resultado e exige ou verifica as correções.

As ferramentas cobrem todo o ciclo: divisão do texto em segmentos, plano de quadros, busca de material visual, síntese de fala, templates de design para quadros de destaque, busca de música de fundo, montagem da timeline, renderização, verificação de qualidade, reparo e junção final. A ordem não é fixa: o modelo escolhe o próximo passo conforme o estado atual.

O ambiente valida cada chamada. Se o modelo pedir a junção final sem quadros ou música prontos, o sistema devolve um “bloqueio” com a lista do que falta, e o orquestrador primeiro providencia o que está faltando. Nos quadros de destaque, a qualidade é avaliada por um modelo visual atuando como juiz. As correções são pontuais: se o problema era o design, a locução não é gerada de novo. O número de tentativas de reparo é limitado, mas esse limite não dispensa os requisitos de entrega: sem os arquivos necessários, o vídeo final não é considerado concluído.

Como os vídeos prontos viraram dados de treinamento

Um vídeo finalizado guarda apenas as falas e a estrutura dos quadros, mas não as chamadas de ferramentas, os erros e as correções. Por isso, os autores montaram um pipeline de quatro etapas com 3 750 vídeos do Bilibili (tecnologia e produtos digitais, negócios e finanças, ciências naturais, ciências sociais e humanidades):

• Reconstrução da intenção. Do vídeo, extraem-se as falas com timecodes, a estrutura dos quadros e a associação de cada frase a um quadro. O resultado é um storyboard, não as ações do editor original. • Execução verificada. O storyboard é executado com as mesmas ferramentas usadas em produção. O ambiente confere referências a arquivos, duração do áudio, entradas dos templates, posições na timeline e a renderização final. • Inspeção e reparo. Se a execução apresentar defeitos, eles são corrigidos de forma pontual, preservando os artefatos que deram certo. • Montagem dos exemplos. Os registros de chamadas, respostas e correções são distribuídos por papel em exemplos de treinamento.

O resultado: mais de 130 mil exemplos.

Treinamento e avaliação

O treinamento tem duas etapas. Primeiro, um ajuste fino unificado nos exemplos, seguido de ajuste fino em execuções bem-sucedidas selecionadas e validadas pelo ambiente; é assim que o modelo aprende a usar as ferramentas e a se recuperar de falhas. Depois vem o Guided-OPD: professor e aluno se alternam nas jogadas, e a intervenção do professor é retirada aos poucos, para que o modelo aprenda nos estados em que ele próprio chegou. Em seguida, as recompensas são comparadas apenas dentro de um mesmo papel e de um mesmo contexto.

O benchmark inclui 100 tarefas e cinco métricas: fidelidade ao texto, correspondência entre imagem e locução, cumprimento do plano de tempo, consistência em longa duração e proporção de vídeos entregues com sucesso. As métricas ligam o vídeo ao roteiro e ao plano, e não apenas ao fato de a renderização ter funcionado.

O sistema supera o modelo base e também os editores especializados na mesma tarefa. Um trabalho anterior, no ambiente Crayotter, também treinou um modelo de 9B, mas com base em preferências sobre o vídeo final e em tarefas montadas manualmente. Aqui, o modelo aprende com trajetórias executáveis.

Para engenheiros, a conclusão é esta: um ambiente que verifica cada passo e registra os erros gera dados de treinamento, e não apenas protege contra falhas. Para o negócio: um modelo pequeno, no ambiente certo, pode substituir uma API generalista cara na produção em massa de vídeos explainer. O código, a página do projeto e os pesos foram publicados no GitHub e no Hugging Face.