Сбер открыл Kandinsky Avatar: говорящие аватары до 60 секунд и 24 кадров/с

Говорящий аватар обычно выглядит простой функцией лишь до первой попытки собрать его в продукте. Нужно синхронизировать губы с речью, сохранить лицо, добавить естественную мимику и движения, а затем удержать всё это без заметных артефактов хотя бы минуту. Сбер открыл исходный код и веса Kandinsky Avatar 1.0 — модели, которая решает эту задачу по изображению, аудиозаписи и текстовому описанию сцены.

На выходе получается ролик продолжительностью до 60 секунд с частотой 24 кадра/с. Модель анимирует артикуляцию, мимику, повороты головы и жесты. Это уже не короткое «оживление фотографии» на несколько секунд, а заготовка для виртуального консультанта, учебного объяснения или локализованного видео.

Как это выглядит на практике

Допустим, образовательному сервису нужно выпускать короткие объяснения на нескольких языках. Команда берёт портрет ведущего, записывает или синтезирует нужную реплику и задаёт сцену текстом. Kandinsky Avatar собирает видео, согласуя движение губ с аудио и добавляя невербальные движения.

Разработчикам предложены две версии. Pro генерирует HD-видео и рассчитана на более высокое качество. Сбер утверждает, что результат сопоставим с HeyGen IV, но это сравнение самого разработчика: без независимых тестов его стоит воспринимать как ориентир, а не доказанный паритет. Lite создаёт SD-видео и, по заявлению команды, может работать на домашней видеокарте. Именно Lite интереснее для прототипов, локальных установок и сценариев, где нельзя отправлять лица или голос пользователей во внешний сервис.

Модель обучали более чем на миллионе видеофрагментов с речью на 95 языках. Это говорит о широком языковом охвате обучающих данных, но не гарантирует одинаковое качество для каждого языка, акцента и типа лица. Перед внедрением придётся проверить собственные голоса, темп речи, повороты головы и сложные фонемы.

Что получает продуктовая команда

Главное здесь не очередная эффектная демонстрация аватара, а возможность встроить генерацию в собственный конвейер. Открытые модели разрешены для коммерческого использования, поэтому на их основе можно делать виртуальных консультантов, сервисы локализации, учебные продукты и инструменты создания видеоконтента.

Локальный запуск также меняет экономику и контроль над данными. Команда может сама выбирать инфраструктуру, хранить исходные изображения и аудио внутри своего контура, пакетно создавать ролики и не зависеть от тарифа внешнего API. Но открытый код не означает бесплатную эксплуатацию: остаются расходы на видеокарты, хранение, очередь задач, модерацию и контроль качества.

Что проверить до внедрения

В опубликованном описании нет достаточных данных о скорости генерации, объёме видеопамяти, задержке, стабильности длинных роликов и качестве на разных языках. Не раскрыты и результаты независимого сравнения с коммерческими конкурентами. Поэтому начинать стоит не с интеграции в основной продукт, а с небольшого набора реальных сценариев.

Соберите 20–30 типовых реплик, добавьте разные голоса, лица и языки, затем измерьте время генерации, стоимость минуты видео и долю роликов, которые проходят ручную проверку без переделки. Отдельно проверьте согласие человека на использование внешности и голоса, маркировку синтетического видео и защиту от создания роликов без разрешения.

Практический вывод простой: Kandinsky Avatar 1.0 даёт командам открытый фундамент для говорящих аватаров, особенно ценный при локальном развёртывании. Но обещание качества уровня HeyGen IV ещё нужно подтверждать на собственных данных и оборудовании.