Kandinsky S2V da vida a una foto con audio: un vídeo de 10 segundos en 1,5 minutos en H100

Imagine que necesita un presentador virtual para un curso de formación: tiene una fotografía de un empleado y una locución grabada, y no quiere volver a rodar el vídeo. Esa es la tarea que resuelve Kandinsky S2V 1.0 (speech-to-video, «de voz a vídeo»), que el laboratorio Kandinsky Lab, vinculado a Sber, ha publicado en abierto.

El modelo toma una foto y una pista de audio y genera un clip en el que la persona habla, mueve las manos y cambia la expresión del rostro. La versión más rápida, Lite distill, procesa 10 segundos de vídeo en unos 1,5 minutos en una GPU NVIDIA H100 (una tarjeta de servidor para entrenar y ejecutar modelos). En los datos de entrenamiento, el 25,8% del habla es rusa, algo poco habitual en modelos abiertos.

El autor de una reseña en Telegram considera S2V uno de los modelos abiertos de este tipo más interesantes de los últimos tiempos. A continuación, qué sabe hacer y cuánto cuesta ponerlo en marcha.

Qué entra y qué sale

El modelo necesita tres cosas: una foto de referencia, un habla ya grabada y un prompt de texto que describa cómo habla la persona y qué emociones muestra. Los prompts pueden escribirse en inglés y en ruso. El resultado es un vídeo a 25 fotogramas por segundo en resolución estándar (SD) o alta (HD), con las proporciones de la foto original.

Se anima toda la figura: expresión facial, postura, gestos y manos. En muchos modelos de avatares solo se mueven los labios y la cabeza; aquí el resultado es más vivo. Tampoco funciona solo con personas: entre los ejemplos hay personajes de dibujos animados y animales.

El modelo divide el habla larga en fragmentos de 5 segundos y los une mediante una «memoria visual», para que el personaje no cambie de aspecto de un fragmento a otro. HD se genera con los mismos pesos que SD; no ha hecho falta entrenar un modelo aparte.

Se ha prestado atención específica al ruso: el 25,8% del habla de entrenamiento es rusa y la calidad se comprobó además con un conjunto de datos en ruso. Esto importa para productos locales, vídeos y materiales formativos.

Una limitación: el modelo no crea sonido. Hace falta una grabación ya hecha o síntesis de voz (TTS), así que en producción habrá que montar una cadena «texto → voz → vídeo».

Tamaños, pesos y hardware

Hay dos versiones: Lite, con 2.000 millones de parámetros, y Pro, con 21.000 millones. Para cada una se han publicado versiones destiladas, variantes aligeradas que funcionan en 16 pasos y sin CFG (un pase adicional para reforzar el seguimiento del prompt). Según los autores, son 5,4 veces más rápidas que el modelo base y apenas pierden calidad. Ese «apenas» conviene comprobarlo con las tareas propias.

El propio transformador de vídeo (DiT) pesa 4,2 GB en Lite y 39,8 GB en Pro. Pero, junto con Qwen2.5-Omni, CLIP y Hunyuan VAE, habrá que descargar unos 25 GB y 65 GB respectivamente.

Los requisitos de GPU son exigentes: una sola NVIDIA con al menos 48 GB de memoria y, para HD, 80 GB. Si se activa offload.vae_tiling: true en la configuración, el pico baja a unos 28 GB, pero aparecen costuras entre fragmentos de la imagen en los fotogramas. Para una tarjeta doméstica de 24 GB sigue siendo insuficiente.

Velocidad: cuánto hay que esperar por un clip

Las mediciones en H100 se dan en segundos de cálculo por cada segundo de vídeo:

• Lite distill (512×768): 8,7 segundos, es decir, un clip de 10 segundos tarda unos 1,5 minutos;
• Pro distill: 41,5 segundos, unos 7 minutos por 10 segundos;
• Pro HD (1280×768): 137 segundos, unos 23 minutos por 10 segundos.

Si el cálculo se reparte entre varias tarjetas (4 para Lite, 8 para Pro), se obtienen 3,8 y 11,4 segundos por segundo de vídeo. La espera se acorta, pero la factura por el alquiler de GPU aumenta.

Qué hacer con esto

Lite distill sirve para prototipos: personajes con voz, respuestas en vídeo de un asistente, vídeos formativos localizados. Pro y HD conviene reservarlos para el renderizado final, cuando importa el detalle y se puede esperar. 23 minutos en una H100 por 10 segundos de HD ya no son interactividad, sino procesamiento por lotes, y conviene calcular de antemano los costes.

Para los productos en ruso también importa el hecho de que los pesos sean abiertos: el modelo puede ejecutarse en infraestructura propia, sin enviar rostros ni voces a servicios externos. Se puede probar en la demo de Hugging Face, el código está en GitHub y los pesos se han publicado en la colección kandinskylab.