GHARP anima cabeças 3D em tempo real: até 13 vezes mais rápido em uma A100

Pesquisadores apresentaram o GHARP, um método que anima em tempo real a cabeça tridimensional de uma pessoa a partir de algumas fotografias e de um sinal de expressão facial. No benchmark Ava-256, ele entrega qualidade de nível state-of-the-art, roda até 13 vezes mais rápido em uma GPU A100 e usa 8 vezes menos gaussianas. A rede responsável pela animação durante a execução é leve e foi otimizada para dispositivos móveis.

Duas etapas em vez de uma

A ideia central do trabalho é dividir a tarefa. A primeira etapa, a de identidade, constrói a representação da geometria e da aparência de uma pessoa específica. Ela roda offline e, por isso, pode ter custo computacional arbitrariamente alto. A segunda etapa roda em runtime e prevê as alterações residuais que dependem da expressão facial, aplicadas sobre a representação já pronta.

Esse compromisso entre precisão, qualidade e velocidade é conhecido de outras tarefas: o trabalho pesado vai para onde o tempo não é limitado, e o dispositivo do usuário recebe o mínimo de cálculo. Para avatares, isso é especialmente importante, porque a animação precisa rodar em uma taxa de quadros adequada para videochamadas ou jogos.

A animação não acontece no espaço de pixels nem em um conjunto bruto de parâmetros, mas no espaço latente semanticamente estruturado de um modelo de reconstrução pré-treinado. Nesse espaço, as mudanças de expressão continuam espacialmente locais, o que facilita a previsão dos resíduos. O mesmo prior de reconstrução define um layout espacial unificado, que permite fundir várias vistas de entrada em uma representação canônica compacta, baseada em gaussianas de tamanho fixo.

Corpo e roupa: o problema que os códigos de expressão deixam de fora

O esquema de duas etapas melhora o equilíbrio entre velocidade e qualidade, mas não resolve um problema comum a todos os avatares controlados por expressão. O código de expressão descreve apenas o rosto. A pose do corpo e a posição da roupa não estão nele, e essas regiões ficam indefinidas no sinal de treinamento. A rede de animação se depara com um problema mal posto e acaba fazendo a média de aparências conflitantes do corpo. O resultado é desfoque e cintilação temporal.

Os autores resolvem isso com uma rede separada de alinhamento do corpo. Ela aprende a alinhar o corpo da pessoa na imagem-alvo com as fotos de referência de entrada. A ambiguidade sai do sinal de treinamento, e a rede de animação deixa de ser obrigada a fazer a média.

Principais indicadores

• Entrada: várias imagens da pessoa e um sinal de controle da expressão.
• Benchmark: Ava-256, com qualidade de nível state-of-the-art.
• Velocidade: até 13 vezes mais rápido na A100.
• Compactação: 8 vezes menos gaussianas.
• Rede de runtime: leve e otimizada para dispositivos móveis.
• Identidade: etapa offline, que admite cálculos caros.

Onde isso pode ser útil e o que observar

O ganho prático está em áreas nas quais o avatar precisa rodar no dispositivo do usuário: telepresença, videochamadas com representação 3D, jogos, AR e VR. A economia no número de gaussianas reduz os requisitos de memória e de largura de banda de renderização, e a transferência da etapa cara para o modo offline elimina a necessidade de calcular a identidade a cada execução.

As limitações também são visíveis. O resumo do artigo não traz dados sobre chips móveis específicos, taxa de quadros em smartphones nem condições de medição. Por isso, vale conferir a aceleração de 13 vezes no texto completo do artigo e no código, caso os autores o publiquem. Além disso, a etapa offline continua exigindo algumas fotos de boa qualidade da pessoa, o que significa que o cenário de "uma selfie na hora" não é atendido por esse método.

Para equipes que desenvolvem produtos com gêmeos digitais, o GHARP é útil como referência de arquitetura: separar identidade e animação, trabalhar no espaço latente do modelo de reconstrução e resolver explicitamente a ambiguidade do corpo na fase de treinamento.