GHARP anima una cabeza 3D en tiempo real: 13 veces más rápido en A100

Un grupo de investigadores ha presentado GHARP, un método que anima en tiempo real la cabeza tridimensional de una persona a partir de varias fotografías suyas y de una señal de expresión facial. En el benchmark Ava-256 logra una calidad de nivel state-of-the-art, funciona hasta 13 veces más rápido en una GPU A100 y usa 8 veces menos gaussianas. La red encargada de la animación durante la ejecución es ligera y está optimizada para dispositivos móviles.

Dos etapas en lugar de una

La idea central del trabajo es dividir la tarea. La primera etapa, la de identidad, construye una representación de la geometría y la apariencia de una persona concreta. Se ejecuta offline, así que puede ser tan costosa como haga falta. La segunda etapa funciona en tiempo de ejecución y predice los cambios residuales que dependen de la expresión facial, sobre la representación ya construida.

Este compromiso entre precisión, calidad y velocidad resulta familiar en otras tareas: el trabajo pesado se traslada adonde el tiempo no está limitado, y al dispositivo del usuario llega el mínimo de cálculo. En el caso de los avatares es especialmente importante, porque la animación debe correr a una frecuencia de fotogramas adecuada para una videollamada o un juego.

La animación no se produce en el espacio de píxeles ni en un conjunto bruto de parámetros, sino en el espacio latente, semánticamente estructurado, de un modelo de reconstrucción preentrenado. En ese espacio, los cambios de expresión siguen siendo espacialmente locales y los residuos son más fáciles de predecir. El mismo prior de reconstrucción define una disposición espacial única, lo que permite fusionar varios ángulos de entrada en una representación canónica compacta basada en gaussianas de tamaño fijo.

Cuerpo y ropa: el problema que los códigos de expresión pasan por alto

El esquema de dos etapas mejora el equilibrio entre velocidad y calidad, pero no elimina un problema común a todos los avatares controlados por expresión. El código de expresión describe solo el rostro. La postura del cuerpo y la posición de la ropa no figuran en él, y esas zonas quedan indeterminadas en la señal de entrenamiento. La red de animación se enfrenta así a un problema mal planteado y promedia variantes contradictorias de la apariencia del cuerpo. El resultado es desenfoque y parpadeo temporal.

Los autores lo resuelven con una red independiente de alineación del cuerpo. Esta red aprende a alinear el cuerpo de la persona en la imagen objetivo con las imágenes de referencia de entrada. La ambigüedad desaparece de la señal de entrenamiento y la red de animación ya no se ve obligada a promediar.

Indicadores clave

• Entrada: varias imágenes de la persona y una señal de control de la expresión.
• Benchmark: Ava-256, calidad de nivel state-of-the-art.
• Velocidad: hasta 13 veces más rápido en A100.
• Compacidad: 8 veces menos gaussianas.
• Red de tiempo de ejecución: ligera, optimizada para dispositivos móviles.
• Identidad: etapa offline que admite cálculos costosos.

Dónde puede resultar útil y qué vigilar

La ganancia práctica está en los ámbitos donde el avatar debe vivir en el dispositivo del usuario: telepresencia, videollamadas con representación 3D, juegos, AR y VR. Reducir el número de gaussianas rebaja los requisitos de memoria y de ancho de banda de renderizado, y trasladar el paso costoso a la fase offline evita tener que calcular la identidad en cada ejecución.

También se ven las limitaciones. El resumen del trabajo no aporta datos sobre chips móviles concretos, la frecuencia de fotogramas en un teléfono ni las condiciones de medición, así que conviene verificar la aceleración de 13 veces en el texto completo del artículo y en el código, si los autores lo publican. Además, la etapa offline sigue necesitando varias fotografías de calidad de la persona, de modo que el escenario de «un selfi al vuelo» queda fuera del alcance de este método.

Para los equipos que desarrollan productos con gemelos digitales, GHARP resulta útil como referencia de arquitectura: separar la identidad de la animación, trabajar en el espacio latente del modelo de reconstrucción y resolver de forma explícita la ambigüedad del cuerpo durante el entrenamiento.