Sber libera Kandinsky Avatar: avatares parlantes de hasta 60 segundos a 24 fps

Un avatar parlante suele parecer una función sencilla hasta que se intenta integrarlo por primera vez en un producto. Hay que sincronizar los labios con el habla, preservar el rostro, añadir expresiones y movimientos naturales y, después, mantener todo eso durante al menos un minuto sin artefactos visibles. Sber ha liberado el código fuente y los pesos de Kandinsky Avatar 1.0, un modelo que resuelve esta tarea a partir de una imagen, una grabación de audio y una descripción textual de la escena.

El resultado es un vídeo de hasta 60 segundos a 24 fps. El modelo anima la articulación, las expresiones faciales, los giros de cabeza y los gestos. Ya no se trata de una breve “animación de una foto” de unos segundos, sino de una base para un asesor virtual, una explicación educativa o un vídeo localizado.

Cómo funciona en la práctica

Supongamos que un servicio educativo necesita publicar explicaciones breves en varios idiomas. El equipo toma un retrato del presentador, graba o sintetiza la frase necesaria y describe la escena mediante texto. Kandinsky Avatar compone el vídeo, sincroniza el movimiento de los labios con el audio y añade movimientos no verbales.

Los desarrolladores disponen de dos versiones. Pro genera vídeo HD y está orientada a ofrecer mayor calidad. Sber afirma que el resultado es comparable al de HeyGen IV, pero se trata de una comparación realizada por el propio desarrollador: sin pruebas independientes, debe considerarse una referencia y no una paridad demostrada. Lite crea vídeo SD y, según el equipo, puede ejecutarse en una tarjeta gráfica de consumo. Lite resulta especialmente interesante para prototipos, instalaciones locales y situaciones en las que no se pueden enviar los rostros o las voces de los usuarios a un servicio externo.

El modelo fue entrenado con más de un millón de fragmentos de vídeo con habla en 95 idiomas. Esto indica una amplia cobertura lingüística de los datos de entrenamiento, pero no garantiza la misma calidad para cada idioma, acento y tipo de rostro. Antes de implantarlo, será necesario probar las voces propias, el ritmo del habla, los giros de cabeza y los fonemas complejos.

Qué obtiene el equipo de producto

Lo más importante no es otra demostración llamativa de un avatar, sino la posibilidad de incorporar la generación al flujo de trabajo propio. Los modelos abiertos están autorizados para uso comercial, por lo que pueden servir como base para asesores virtuales, servicios de localización, productos educativos y herramientas de creación de contenido en vídeo.

La ejecución local también cambia la economía y el control de los datos. El equipo puede elegir su propia infraestructura, mantener las imágenes y los audios originales dentro de su entorno, generar vídeos por lotes y evitar depender de las tarifas de una API externa. Sin embargo, que el código sea abierto no implica que la operación sea gratuita: siguen existiendo costes de tarjetas gráficas, almacenamiento, colas de tareas, moderación y control de calidad.

Qué comprobar antes de la implantación

La descripción publicada no aporta datos suficientes sobre la velocidad de generación, la memoria de vídeo necesaria, la latencia, la estabilidad de los vídeos largos ni la calidad en distintos idiomas. Tampoco se han divulgado resultados de una comparación independiente con competidores comerciales. Por eso, conviene empezar con un conjunto reducido de casos de uso reales, no con una integración directa en el producto principal.

Reúna entre 20 y 30 frases habituales, añada diferentes voces, rostros e idiomas y mida después el tiempo de generación, el coste por minuto de vídeo y la proporción de vídeos que superan la revisión manual sin tener que rehacerse. Por separado, compruebe el consentimiento de cada persona para utilizar su apariencia y su voz, etiquete los vídeos sintéticos e implemente medidas de protección contra la creación de vídeos sin autorización.

La conclusión práctica es sencilla: Kandinsky Avatar 1.0 ofrece a los equipos una base abierta para crear avatares parlantes, especialmente valiosa en despliegues locales. Pero la promesa de una calidad al nivel de HeyGen IV todavía debe validarse con los datos y el hardware de cada equipo.