GHARP يحرّك رأسًا ثلاثي الأبعاد في الوقت الفعلي: أسرع 13 مرة على A100

قدّم باحثون GHARP، وهي طريقة تحرّك رأس الشخص ثلاثي الأبعاد في الوقت الفعلي انطلاقًا من عدة صور فوتوغرافية له وإشارة تعبير الوجه. وعلى معيار Ava-256 تحقق الطريقة جودة بمستوى state-of-the-art، وتعمل أسرع بما يصل إلى 13 مرة على GPU من طراز A100، وتستخدم غاوسيات أقل 8 مرات. أما الشبكة المسؤولة عن التحريك أثناء التشغيل فهي خفيفة ومُحسَّنة للأجهزة المحمولة.

مرحلتان بدل مرحلة واحدة

الفكرة الرئيسية في العمل هي تقسيم المهمة. المرحلة الأولى، وهي مرحلة تحديد الهوية، تبني تمثيلًا لهندسة الشخص ومظهره. وتُنفَّذ هذه المرحلة دون اتصال، ولذلك يمكن أن تبلغ من الكلفة ما تشاء. أما المرحلة الثانية فتعمل في وقت التشغيل، وتتنبأ بالتغيرات المتبقية التي تعتمد على تعبير الوجه، فوق التمثيل الجاهز أصلًا.

هذه المقايضة بين الدقة والجودة والسرعة مألوفة في مهام أخرى: يُنقل العمل الثقيل إلى مرحلة لا يقيّدها الوقت، ولا يُرسل إلى جهاز المستخدم سوى الحد الأدنى من الحسابات. وهذا مهم بشكل خاص للصور الرمزية، لأن التحريك يجب أن يجري بمعدل إطارات يصلح للمكالمات المرئية أو الألعاب.

لا يجري التحريك في فضاء البكسلات ولا في مجموعة خام من المعاملات، بل في فضاء كامن منظَّم دلاليًا ينتمي إلى نموذج إعادة بناء مُدرَّب مسبقًا. وفي هذا الفضاء تبقى تغيرات التعبير محلية مكانيًا، ما يجعل التنبؤ بالبواقي أسهل. كما أن المعرفة المسبقة (prior) نفسها لنموذج إعادة البناء تفرض توزيعًا مكانيًا موحدًا، ما يتيح دمج عدة زوايا إدخال في تمثيل قانوني مضغوط يقوم على غاوسيات ثابتة الحجم.

الجسم والملابس: المشكلة التي تسكت عنها رموز التعبير

تحسّن البنية ذات المرحلتين التوازن بين السرعة والجودة، لكنها لا تحل مشكلة مشتركة بين جميع الصور الرمزية التي يتحكم بها التعبير. فرمز التعبير يصف الوجه فقط. أما وضعية الجسم وموضع الملابس فغائبان عنه، وتبقى هاتان المنطقتان غير محددتين في إشارة التدريب. وتواجه شبكة التحريك مسألة غير سليمة الصياغة، فتحسب متوسط الصيغ المتعارضة لمظهر الجسم. والنتيجة: ضبابية ووميض زمني.

يعالج المؤلفون ذلك بشبكة منفصلة لمحاذاة الجسم. تتعلم هذه الشبكة مطابقة جسم الشخص في الصورة المستهدفة مع صور المرجع المُدخلة. فيزول الغموض من إشارة التدريب، ولا تضطر شبكة التحريك بعد ذلك إلى حساب المتوسط.

أبرز المؤشرات

• المُدخلات: عدة صور للشخص وإشارة تحكم بالتعبير.
• المعيار: Ava-256، بجودة بمستوى state-of-the-art.
• السرعة: أسرع بما يصل إلى 13 مرة على A100.
• الإحكام: غاوسيات أقل 8 مرات.
• شبكة وقت التشغيل: خفيفة ومُحسَّنة للأجهزة المحمولة.
• تحديد الهوية: مرحلة دون اتصال تتحمل حسابات مكلفة.

أين يفيد ذلك وما الذي يجب مراقبته

يتحقق المكسب العملي في المجالات التي يجب أن تعمل فيها الصورة الرمزية على جهاز المستخدم: الحضور عن بُعد، والمكالمات المرئية بتمثيل ثلاثي الأبعاد، والألعاب، والواقع المعزز والواقع الافتراضي. فتقليل عدد الغاوسيات يخفض متطلبات الذاكرة وعرض النطاق اللازم للعرض (الريندرينغ)، ونقل الخطوة المكلفة إلى مرحلة دون اتصال يغني عن حساب الهوية عند كل تشغيل.

والقيود واضحة أيضًا. فالملخص لا يتضمن بيانات عن شرائح محمولة بعينها، ولا عن معدل الإطارات على الهاتف، ولا عن شروط القياس، لذا ينبغي التحقق من تقدير التسريع بمقدار 13 مرة في النص الكامل للورقة وفي الشيفرة، إن نشرها المؤلفون. كما أن المرحلة دون اتصال لا تزال تحتاج إلى عدة صور عالية الجودة للشخص، ما يعني أن هذه الطريقة لا تغطي سيناريو «سيلفي واحدة وبشكل فوري».

أما الفرق التي تبني منتجات بتوائم رقمية، فيفيدها GHARP بوصفه مرجعًا معماريًا: فصل الهوية عن التحريك، والعمل في الفضاء الكامن لنموذج إعادة البناء، وحل غموض الجسم صراحةً في مرحلة التدريب.