Sber abre o Kandinsky Avatar: avatares falantes de até 60 segundos a 24 fps

Um avatar falante geralmente parece uma funcionalidade simples apenas até a primeira tentativa de incorporá-lo a um produto. É preciso sincronizar os lábios com a fala, preservar o rosto, acrescentar expressões e movimentos naturais e, em seguida, manter tudo isso por pelo menos um minuto sem artefatos visíveis. A Sber abriu o código-fonte e os pesos do Kandinsky Avatar 1.0, um modelo que resolve essa tarefa a partir de uma imagem, de uma gravação de áudio e de uma descrição textual da cena.

O resultado é um vídeo de até 60 segundos a 24 fps. O modelo anima a articulação, as expressões faciais, os movimentos de cabeça e os gestos. Já não se trata de uma breve “animação de foto” com poucos segundos, mas de uma base para um consultor virtual, uma explicação educacional ou um vídeo localizado.

Como isso funciona na prática

Suponha que um serviço educacional precise produzir explicações curtas em vários idiomas. A equipe usa um retrato do apresentador, grava ou sintetiza a fala necessária e descreve a cena em texto. O Kandinsky Avatar monta o vídeo, sincronizando o movimento dos lábios com o áudio e acrescentando movimentos não verbais.

Os desenvolvedores têm duas versões à disposição. A Pro gera vídeo em HD e foi projetada para oferecer maior qualidade. A Sber afirma que o resultado é comparável ao do HeyGen IV, mas essa comparação foi feita pelo próprio desenvolvedor: sem testes independentes, ela deve ser tratada como uma referência, e não como uma equivalência comprovada. A Lite cria vídeo em SD e, segundo a equipe, pode rodar em uma placa de vídeo doméstica. A Lite é especialmente interessante para protótipos, instalações locais e cenários nos quais não é possível enviar o rosto ou a voz dos usuários a um serviço externo.

O modelo foi treinado com mais de um milhão de trechos de vídeo com fala em 95 idiomas. Isso indica uma ampla cobertura linguística nos dados de treinamento, mas não garante a mesma qualidade para todos os idiomas, sotaques e tipos de rosto. Antes da implantação, será necessário testar as próprias vozes, o ritmo da fala, os movimentos de cabeça e os fonemas complexos.

O que a equipe de produto ganha

O principal aqui não é mais uma demonstração impressionante de avatar, mas a possibilidade de incorporar a geração ao próprio fluxo de trabalho. Os modelos abertos são permitidos para uso comercial e, por isso, podem servir de base para consultores virtuais, serviços de localização, produtos educacionais e ferramentas de criação de conteúdo em vídeo.

A execução local também muda a economia e o controle sobre os dados. A equipe pode escolher sua própria infraestrutura, manter as imagens e os áudios originais dentro de seu ambiente, gerar vídeos em lote e não depender dos preços de uma API externa. No entanto, código aberto não significa operação gratuita: continuam existindo custos com placas de vídeo, armazenamento, filas de tarefas, moderação e controle de qualidade.

O que verificar antes da implantação

A descrição publicada não traz dados suficientes sobre a velocidade de geração, o volume de memória de vídeo necessário, a latência, a estabilidade de vídeos longos e a qualidade em diferentes idiomas. Também não foram divulgados resultados de uma comparação independente com concorrentes comerciais. Por isso, o ideal é começar com um pequeno conjunto de cenários reais, e não com a integração direta ao produto principal.

Reúna de 20 a 30 falas típicas, acrescente diferentes vozes, rostos e idiomas e, em seguida, meça o tempo de geração, o custo por minuto de vídeo e a proporção de vídeos que passam pela revisão manual sem precisar ser refeitos. Separadamente, verifique o consentimento de cada pessoa para o uso de sua aparência e voz, a identificação dos vídeos sintéticos e a proteção contra a criação de vídeos sem autorização.

A conclusão prática é simples: o Kandinsky Avatar 1.0 oferece às equipes uma base aberta para avatares falantes, especialmente valiosa em implantações locais. Mas a promessa de qualidade no nível do HeyGen IV ainda precisa ser validada com os dados e o hardware de cada equipe.