GHARP анимирует 3D-голову в реальном времени: в 13 раз быстрее на A100

Исследователи представили GHARP — метод, который по нескольким фотографиям человека и сигналу выражения лица анимирует его трехмерную голову в реальном времени. На бенчмарке Ava-256 он дает качество уровня state-of-the-art, при этом работает до 13 раз быстрее на GPU A100 и использует в 8 раз меньше гауссианов. Сеть, которая отвечает за анимацию во время работы, легкая и оптимизирована под мобильные устройства.

Две стадии вместо одной

Главная идея работы — разделение задачи. Первая стадия, идентификационная, строит представление геометрии и внешности конкретного человека. Она выполняется офлайн, поэтому может быть сколь угодно дорогой. Вторая стадия работает в рантайме и предсказывает остаточные изменения, зависящие от выражения лица, поверх уже готового представления.

Такой компромисс между точностью, качеством и скоростью знаком по другим задачам: тяжелую работу переносят туда, где время не ограничено, а на устройство пользователя отправляют минимум вычислений. Для аватаров это особенно важно, потому что анимация должна идти с частотой кадров, пригодной для видеосвязи или игры.

Анимация происходит не в пространстве пикселей и не в сыром наборе параметров, а в семантически структурированном латентном пространстве предобученной модели реконструкции. Там изменения выражения остаются пространственно локальными, и предсказывать остатки проще. Тот же реконструкционный прior задает единую пространственную раскладку, что позволяет сливать несколько входных ракурсов в компактное каноническое представление на гауссианах фиксированного размера.

Тело и одежда: проблема, о которой молчат коды выражений

Двухстадийная схема улучшает баланс скорости и качества, но не снимает проблему, общую для всех аватаров, управляемых выражением. Код выражения описывает только лицо. Поза тела и положение одежды в нем отсутствуют, и эти области в обучающем сигнале остаются неопределенными. Сеть анимации сталкивается с некорректно поставленной задачей и усредняет конфликтующие варианты внешности тела. Результат: размытие и временное мерцание.

Авторы решают это отдельной сетью выравнивания тела. Она учится совмещать тело человека на целевом изображении с входными референсными снимками. Неоднозначность уходит из обучающего сигнала, и сеть анимации больше не вынуждена усреднять.

Ключевые показатели

• Вход: несколько изображений человека и управляющий сигнал выражения.
• Бенчмарк: Ava-256, качество уровня state-of-the-art.
• Скорость: до 13 раз быстрее на A100.
• Компактность: в 8 раз меньше гауссианов.
• Рантайм-сеть: легкая, оптимизирована под мобильные устройства.
• Идентификация: офлайн-стадия, допускающая дорогие вычисления.

Где это пригодится и на что смотреть

Практический выигрыш лежит в областях, где аватар должен жить на устройстве пользователя: телеприсутствие, видеозвонки с 3D-представлением, игры, AR и VR. Экономия на числе гауссианов снижает требования к памяти и пропускной способности рендеринга, а перенос дорогого шага в офлайн избавляет от необходимости считать идентичность при каждом запуске.

Ограничения тоже видны. В аннотации нет данных о конкретных мобильных чипах, частоте кадров на телефоне и условиях замеров, так что оценку 13-кратного ускорения стоит проверять по полному тексту статьи и коду, если авторы его опубликуют. Кроме того, офлайн-стадия все равно требует нескольких качественных снимков человека, а значит, сценарий «один селфи на лету» этим методом не закрывается.

Для команд, строящих продукты с цифровыми двойниками, GHARP полезен как референс архитектуры: отделить идентичность от анимации, работать в латентном пространстве реконструкционной модели и явно разрешать неоднозначность тела на этапе обучения.