Kandinsky S2V anima fotos a partir de áudio: vídeo de 10 segundos em 1,5 minuto na H100

Imagine que você precisa de um apresentador virtual para um curso: tem uma foto de um funcionário e uma narração gravada, mas não quer filmar o vídeo de novo. É exatamente isso que o Kandinsky S2V 1.0 (speech-to-video, ou «fala em vídeo») se propõe a resolver.

O modelo foi liberado em acesso aberto pelo laboratório Kandinsky Lab, ligado ao Sber. Ele recebe uma foto e uma faixa de áudio e gera um vídeo em que a pessoa fala, mexe as mãos e muda a expressão do rosto. A versão mais rápida, a Lite distill, processa 10 segundos de vídeo em cerca de 1,5 minuto em uma GPU NVIDIA H100 (placa de servidor para treinar e executar modelos).

Nos dados de treinamento, 25,8% da fala é em russo, algo raro entre modelos abertos. O autor de uma análise no Telegram considera o S2V um dos modelos abertos mais interessantes do tipo nos últimos tempos. A seguir, o que ele faz e quanto custa rodá-lo.

O que entra e o que sai

O modelo precisa de três coisas: uma foto de referência, a fala já gravada e um prompt de texto descrevendo como a pessoa fala e quais emoções demonstra. Os prompts podem ser escritos em inglês e em russo. A saída é um vídeo a 25 quadros por segundo, em resolução padrão (SD) ou alta (HD), na proporção da foto original.

A figura inteira é animada: expressões faciais, postura, gestos e mãos. Em muitos modelos de avatar, só os lábios e a cabeça se mexem; aqui o resultado é mais vivo. O modelo também funciona com outros tipos de personagem: entre os exemplos há desenhos animados e animais.

Para falas longas, o modelo divide o áudio em trechos de 5 segundos e os une por meio de uma «memória visual», para que o personagem não mude de aparência de um fragmento para outro. O HD é gerado com os mesmos pesos do SD, sem a necessidade de treinar um modelo separado.

O russo recebeu atenção especial: 25,8% da fala do treinamento é em russo, e a qualidade também foi verificada em um conjunto de dados em russo. Isso importa para produtos locais, vídeos e materiais de treinamento.

Limitação: o modelo não gera áudio. É preciso ter uma gravação pronta ou usar síntese de fala (TTS), então, em produção, será necessário montar uma cadeia «texto → voz → vídeo».

Tamanhos, pesos e hardware

Existem duas versões: a Lite, com 2 bilhões de parâmetros, e a Pro, com 21 bilhões. Para cada uma há modelos destilados, variantes mais leves que trabalham em 16 passos e sem CFG (uma passagem extra para reforçar a aderência ao prompt). Segundo os autores, eles são 5,4 vezes mais rápidos que o modelo base e quase não perdem qualidade. Esse «quase» vale ser testado nas suas próprias tarefas.

O transformer de vídeo (DiT) em si pesa 4,2 GB na Lite e 39,8 GB na Pro. Mas, somando Qwen2.5-Omni, CLIP e Hunyuan VAE, é preciso baixar cerca de 25 GB e 65 GB, respectivamente.

Os requisitos de GPU são pesados: uma única placa NVIDIA com pelo menos 48 GB de memória e, para HD, 80 GB. Ao ativar offload.vae_tiling: true na configuração, o pico cai para cerca de 28 GB, mas aparecem emendas entre os fragmentos da imagem nos quadros. Para uma placa doméstica de 24 GB, continua sendo pouco.

Velocidade: quanto esperar por um vídeo

As medições na H100 são dadas em segundos de processamento por segundo de vídeo:

• Lite distill (512×768): 8,7 segundos, ou seja, um vídeo de 10 segundos leva cerca de 1,5 minuto;
• Pro distill: 41,5 segundos, cerca de 7 minutos para 10 segundos;
• Pro HD (1280×768): 137 segundos, cerca de 23 minutos para 10 segundos.

Se o processamento for distribuído por várias placas (4 para a Lite, 8 para a Pro), o resultado é de 3,8 e 11,4 segundos por segundo de vídeo. A espera diminui, mas a conta do aluguel de GPU aumenta.

O que fazer com isso

A Lite distill serve para protótipos: personagens com voz, respostas em vídeo de assistentes, vídeos de treinamento localizados. A Pro e o HD fazem mais sentido para a renderização final, quando o nível de detalhe importa e dá para esperar. Gastar 23 minutos em uma H100 para 10 segundos de HD já não é uso interativo, e sim processamento em lote, e vale calcular a economia com antecedência.

Para produtos em russo, o fato de os pesos serem abertos também pesa: dá para rodar o modelo na própria infraestrutura, sem enviar rostos e vozes a serviços externos. É possível testá-lo na demo no Hugging Face, o código está no GitHub e os pesos foram publicados na coleção kandinskylab.