Kandinsky S2V оживляет фото по аудио: 10-секундный ролик за 1,5 минуты на H100

Представьте, что вам нужен виртуальный ведущий для обучающего курса: есть одна фотография сотрудника и записанная озвучка, а снимать видео заново не хочется. Именно эту задачу решает Kandinsky S2V 1.0 (speech-to-video, «речь в видео»), которую лаборатория Kandinsky Lab, связанная со Сбером, выложила в открытый доступ.

Модель берёт фото и аудиодорожку и делает ролик, где человек говорит, двигает руками и меняет выражение лица. Самая быстрая версия, Lite distill, на видеокарте NVIDIA H100 (серверной карте для обучения и запуска моделей) считает 10 секунд видео примерно за 1,5 минуты. В обучающих данных 25,8% речи — русская, что для открытых моделей редкость.

Автор обзора в Telegram называет S2V одной из самых интересных открытых моделей такого типа за последнее время. Ниже — что она умеет и во что обойдётся запуск.

Что на входе и что на выходе

Модели нужны три вещи: одно референсное фото, готовая речь и текстовый промпт о том, как человек говорит и какие эмоции показывает. Промпты можно писать на английском и русском. На выходе получается видео с частотой 25 кадров в секунду в обычном (SD) или высоком (HD) разрешении, в пропорциях исходного фото.

Анимируется вся фигура: мимика, поза, жесты, руки. Во многих аватарных моделях шевелятся только губы и голова, здесь картина живее. Работает и не только с людьми: среди примеров есть мультяшные персонажи и животные.

Длинную речь модель режет на 5-секундные куски и склеивает через «визуальную память», чтобы персонаж не менял внешность от фрагмента к фрагменту. HD генерируется теми же весами, что и SD, отдельную модель для него обучать не пришлось.

Русскому уделили отдельное внимание: 25,8% обучающей речи — русская, а качество дополнительно проверяли на русскоязычном наборе. Это важно для локальных продуктов, роликов и обучающих материалов.

Ограничение: звук модель не создаёт. Нужна готовая запись или синтез речи (TTS), поэтому в продакшене придётся собирать цепочку «текст → голос → видео».

Размеры, веса и железо

Есть две версии: Lite на 2 млрд параметров и Pro на 21 млрд. К каждой выпущены дистилляты — облегчённые варианты, которые работают за 16 шагов и без CFG (дополнительного прохода для усиления следования промпту). По данным авторов, они в 5,4 раза быстрее базовой модели и почти не теряют в качестве. Это «почти» стоит проверить на своих задачах.

Сам видеотрансформер (DiT) весит 4,2 ГБ у Lite и 39,8 ГБ у Pro. Но вместе с Qwen2.5-Omni, CLIP и Hunyuan VAE скачать придётся около 25 ГБ и 65 ГБ соответственно.

Требования к видеокарте серьёзные: одна NVIDIA от 48 ГБ памяти, а для HD — 80 ГБ. Если включить в конфиге offload.vae_tiling: true, пик падает примерно до 28 ГБ, но на кадрах появляются швы между фрагментами изображения. Для домашней карты на 24 ГБ всё равно мало.

Скорость: сколько ждать ролик

Замеры на H100 даны в секундах расчёта на одну секунду видео:

• Lite distill (512×768): 8,7 секунды, то есть ролик на 10 секунд — около 1,5 минуты;
• Pro distill: 41,5 секунды, около 7 минут на 10 секунд;
• Pro HD (1280×768): 137 секунд, около 23 минут на 10 секунд.

Если разнести расчёт по нескольким картам (4 для Lite, 8 для Pro), получается 3,8 и 11,4 секунды на секунду видео. Ожидание сокращается, но счёт за аренду GPU растёт.

Что с этим делать

Lite distill подходит для прототипов: озвученные персонажи, видео-ответы ассистента, локализованные обучающие ролики. Pro и HD разумно оставить для финального рендера, где важна детализация и можно подождать. 23 минуты на H100 ради 10 секунд HD — это уже не интерактив, а пакетная обработка, и экономику стоит посчитать заранее.

Для русскоязычных продуктов важен и сам факт открытых весов: модель можно запускать на своей инфраструктуре, не отправляя лица и голоса во внешние сервисы. Протестировать её можно в демо на Hugging Face, код лежит на GitHub, веса опубликованы в коллекции kandinskylab.