Видеогенерация с галереей выражений лица обходит базовые модели по сходству личности

Модели генерации видео с сохранением личности обычно получают на вход один портрет и должны удерживать лицо узнаваемым на протяжении всего ролика. Авторы препринта arXiv:2610.11023 показывают, что у такой схемы есть структурный изъян. Один снимок фиксирует лицо в единственной конфигурации, и как оно будет выглядеть при смехе, крике или удивлении, референс не определяет. Исследователи предлагают заменить одиночный портрет компактной галереей из разных выражений. Они расширили модель Stand-In под такие наборы и протестировали результат в трёх режимах: слабая, сильная и экстремальная мимика. Лучше всего подход показал себя на экстремальной.

Проблема: лицо меняется индивидуально

При смене выражения внешнее сходство с нейтральным снимком меняется не универсально. У одного человека улыбка почти не затрагивает черты, у другого меняет их заметно. Поэтому модель, увидевшая только нейтральный портрет, вынуждена угадывать, как это лицо будет выглядеть в движении. Угадывает она по средним статистическим паттернам из обучающих данных, и личность размывается.

Эта же особенность портит оценку качества. Авторы измерили, как сходство в системах распознавания лиц зависит от интенсивности мимики. Они использовали контролируемые фотографии и видео из датасета MEAD. Выяснилось, что даже на реальных изображениях одного и того же человека сходство с нейтральным референсом падает при сильных выражениях. Метрика, сравнивающая сгенерированный кадр с одним портретом, наказывает модель за естественную изменчивость лица, а не за потерю идентичности.

Что предложили авторы

Решение работает на двух уровнях: оценка и генерация.

Для оценки собрана компактная, но выразительная галерея референсов, которая покрывает разные лицевые конфигурации. Сходство считается как совпадение с галереей, а не с единственным снимком. Это устойчивее к мимике. Отдельно результаты приводятся для слабых, сильных и экстремальных выражений, чтобы деградация с ростом интенсивности была видна, а не терялась в среднем значении.

Для генерации авторы расширили Stand-In так, чтобы модель принимала наборы выражений. Они также построили пайплайн подготовки данных. Он вырезает из обучающих видео лицевые кадры, которые одновременно согласованы по личности и разнообразны по выражению. Если у пользователя только один портрет, недостающие выражения синтезирует предобученная модель face reenactment, то есть переноса мимики.

Ключевые элементы работы:

• база для исследования зависимости сходства от мимики: контролируемые фотографии и видео MEAD;
• три режима оценки: слабая, сильная и экстремальная мимика;
• два типа референсных наборов: реальные и синтезированные из одного портрета;
• базовая модель: Stand-In с условием на набор референсов;
• результат: оба варианта превосходят протестированные базовые модели по сходству личности во всех трёх режимах, наибольший прирост даёт экстремальная мимика.

В аннотации нет численных значений прироста, и сравнение проведено на собственном контролируемом бенчмарке авторов. Независимого подтверждения на внешних наборах пока нет, поэтому величину эффекта по тексту аннотации оценить нельзя.

Практические выводы

Отдельно важен вариант с синтезированными референсами. Он означает, что улучшение не требует от пользователя загружать десяток фотографий. Достаточно одного портрета, остальное достраивает reenactment-модель. Для продуктов с аватарами, виртуальными ведущими и персонализированной рекламой это дешёвый способ повысить узнаваемость в эмоциональных сценах, где современные генераторы чаще всего ломаются.

Команды, которые оценивают собственные модели, могут перенять идею с разбивкой по интенсивности мимики. Средняя метрика сходства скрывает провалы на экстремальных выражениях, а именно они заметны зрителю. Сравнение с галереей вместо единственного кадра также снижает риск ложных срабатываний.

Есть и очевидный риск. Чем лучше модель удерживает лицо в любом выражении, тем проще создавать убедительные дипфейки конкретных людей по одной фотографии. Для платформ это повод заранее продумать проверку согласия и маркировку синтетических видео, пока подобные методы переходят из препринтов в продукты.