Kling revela como ensina um modelo de video a obedecer ao diretor: dois juizes e um Prompt Enhancer inteligente

E uma dor conhecida de qualquer pessoa que ja tentou controlar um gerador de video: voce escreve “faca como aqui” e recebe um fundo diferente, uma luz extra e um personagem com a mao deformada. A equipe da Kling publicou um preprint que explica em detalhes como tenta resolver esse problema. A conclusao e inesperada: os pixels ja nao sao o principal gargalo. O que importa e o quanto o modelo entende aquilo que se espera dele.

Anotacao como uma folha de edicao

A primeira camada da solucao sao os dados. Legendas de video comuns, como “um homem corre”, obrigam o modelo de difusao a inventar detalhes ao acaso. O artigo analisa um clipe de 18 segundos no qual uma descricao padrao confundiu um corte seco com uma transicao suave e nao percebeu que uma fala comecava antes de o personagem aparecer. Se esses detalhes se perdem nos textos de treinamento, o modelo nao aprende a controla-los.

Por isso, a Kling torna as descricoes o mais densas possivel: poses, materiais, angulos de camera e trajetorias de movimento. A equipe chama isso de “contrato semantico” entre texto e video. No modo image-to-video, tambem e feito o vinculo entre partes da imagem de origem e os objetos da descricao.

Os papeis das referencias sao treinados separadamente. O rosto vem da primeira imagem, a jaqueta da segunda, o movimento de camera do video, e nada mais. Sem um vinculo explicito, “faca como aqui” se transforma em “aproveite tambem o fundo e a iluminacao”.

Um Prompt Enhancer que ve o resultado

Os usuarios escrevem prompts de tres a cinco palavras. O enhancer os traduz para a linguagem do modelo. Primeiro, ele e treinado para reescrever as solicitacoes no formato de descricoes detalhadas. Depois, sao criadas varias versoes do prompt para uma unica solicitacao, os videos sao gerados e o resultado e avaliado. A recompensa se baseia na qualidade do video, nao na beleza do texto.

Ha tambem um efeito colateral reconhecido abertamente. O resultado ficou mais estavel, mas as variantes mais expressivas foram prejudicadas. Se o juiz penaliza artefatos, passa a ser mais vantajoso escolher um movimento de camera seguro que o modelo ja executa bem. E o dilema classico: ao otimizar a confiabilidade, perde-se impacto.

Dois juizes e o que o experimento ensina

A Kling usa dois avaliadores. O primeiro explica onde e o que deu errado: dedos borrados, luzes piscando. O segundo atribui rapidamente notas para movimento, qualidade da imagem e aderencia ao prompt; e justamente ele que se faz necessario para o aprendizado por reforco em escala. O juiz precisa ver quadros suficientes, ou deixara passar um defeito que dure apenas uma fracao de segundo.

Outra conclusao interessante e que conectar um modelo de linguagem mais “inteligente” como codificador de texto do modelo de video nao melhora os resultados. O codificador precisa de treinamento perceptivo em relacoes espaciais, optica e composicao, nao de tarefas logicas. O componente multimodal do Kling-MLLM foi inicializado a partir da familia Qwen e recebeu processamento de audio. O video em si e gerado por um modelo separado.

Como aplicar isso na pratica

O artigo traz varias conclusoes para desenvolvedores e equipes de produto que constroem solucoes baseadas em geracao de video.

Primeiro, se voce faz o ajuste fino ou avalia modelos de video, a qualidade das anotacoes e mais importante do que o tamanho do modelo. Descricoes densas com uma estrutura de edicao oferecem um controle que legendas curtas nao proporcionam.

Segundo, se voce esta criando uma interface com varias referencias, permita que o usuario indique explicitamente o que deve ser extraido de cada uma. E possivel ensinar isso ao modelo, mas a interface tambem precisa expressar a intencao.

Terceiro, acompanhe o modelo de recompensa. Qualquer juiz desloca a geracao em direcao a escolhas seguras e, se voce otimizar apenas a ausencia de artefatos, acabara com videos monotonos. E preciso equilibrar as metricas: movimento, imagem, aderencia ao prompt e, separadamente, expressividade.

Por fim, separe compreensao e renderizacao. Na pratica, a Kling esta construindo todo um sistema ao redor do gerador: um anotador, um enhancer e juizes. Para a industria, isso e um sinal de que a vantagem competitiva dos modelos de video esta migrando do tamanho do transformer de difusao para a qualidade dos dados e do feedback.

A limitacao e evidente: trata-se de um preprint da propria equipe, nao ha medicoes independentes e a parcela do efeito atribuivel a cada componente nao foi revelada. Ainda assim, o texto e util como um mapa da direcao que a geracao de video esta tomando.