La generación de vídeo con una galería de expresiones faciales supera a los modelos base en similitud de identidad

Los modelos de generación de vídeo con conservación de identidad suelen recibir un único retrato y deben mantener el rostro reconocible durante todo el clip. Los autores del preprint arXiv:2610.11023 muestran que este esquema tiene un defecto estructural. Una sola foto fija el rostro en una única configuración, y la referencia no determina cómo se verá esa cara al reír, gritar o sorprenderse. Los investigadores proponen sustituir el retrato único por una galería compacta de expresiones distintas. Han ampliado el modelo Stand-In para trabajar con esos conjuntos y han probado el resultado en tres modos: expresión débil, fuerte y extrema. El enfoque rindió mejor en la extrema.

El problema: el rostro cambia de forma individual

Cuando cambia la expresión, el parecido externo con la foto neutra no varía de manera universal. En una persona, la sonrisa apenas afecta a sus rasgos; en otra, los modifica de forma notable. Por eso, un modelo que solo ha visto un retrato neutro tiene que adivinar cómo se verá ese rostro en movimiento. Lo adivina a partir de patrones estadísticos medios de los datos de entrenamiento, y la identidad se difumina.

Esta misma particularidad distorsiona la evaluación de la calidad. Los autores midieron cómo depende de la intensidad de la expresión la similitud en los sistemas de reconocimiento facial. Utilizaron fotografías y vídeos controlados del dataset MEAD. Resultó que, incluso en imágenes reales de la misma persona, la similitud con la referencia neutra cae cuando las expresiones son fuertes. Una métrica que compara el fotograma generado con un solo retrato penaliza al modelo por la variabilidad natural del rostro, y no por perder la identidad.

Qué proponen los autores

La solución actúa en dos niveles: evaluación y generación.

Para la evaluación, se ha reunido una galería de referencias compacta pero expresiva, que cubre distintas configuraciones faciales. La similitud se calcula como coincidencia con la galería, y no con una única foto, lo que la hace más robusta frente a la expresión. Los resultados se presentan por separado para expresiones débiles, fuertes y extremas, de modo que la degradación a medida que aumenta la intensidad sea visible y no se pierda en el valor medio.

Para la generación, los autores ampliaron Stand-In para que el modelo acepte conjuntos de expresiones. También construyeron un pipeline de preparación de datos. Este recorta de los vídeos de entrenamiento fotogramas faciales que sean a la vez coherentes en identidad y diversos en expresión. Si el usuario solo tiene un retrato, un modelo preentrenado de face reenactment, es decir, de transferencia de expresiones, sintetiza las que faltan.

Elementos clave del trabajo:

• base para estudiar la dependencia entre similitud y expresión: fotografías y vídeos controlados de MEAD;
• tres modos de evaluación: expresión débil, fuerte y extrema;
• dos tipos de conjuntos de referencia: reales y sintetizados a partir de un solo retrato;
• modelo base: Stand-In condicionado por un conjunto de referencias;
• resultado: ambas variantes superan a los modelos base probados en similitud de identidad en los tres modos, y el mayor avance se da con las expresiones extremas.

El resumen del preprint no incluye valores numéricos de la mejora, y la comparación se ha hecho en un benchmark controlado propio de los autores. Por ahora no hay confirmación independiente en conjuntos externos, así que el tamaño del efecto no puede evaluarse a partir del texto del resumen.

Conclusiones prácticas

La variante con referencias sintetizadas merece atención aparte. Significa que la mejora no exige que el usuario suba una decena de fotos. Basta con un retrato, y el modelo de reenactment completa el resto. Para productos con avatares, presentadores virtuales y publicidad personalizada, es una forma barata de aumentar la reconocibilidad en escenas emocionales, donde los generadores actuales fallan con más frecuencia.

Los equipos que evalúan sus propios modelos pueden adoptar la idea de desglosar los resultados por intensidad de la expresión. La métrica media de similitud oculta los fallos en expresiones extremas, que son precisamente los que nota el espectador. Comparar con una galería en lugar de con un único fotograma también reduce el riesgo de falsos positivos.

Hay además un riesgo evidente. Cuanto mejor mantenga un modelo el rostro en cualquier expresión, más fácil resulta crear deepfakes convincentes de personas concretas a partir de una sola foto. Para las plataformas, es un motivo para diseñar con antelación la verificación del consentimiento y el etiquetado de los vídeos sintéticos, mientras métodos como este pasan de los preprints a los productos.