APEX يضغط الفضاءات الكامنة للانتشار 128 مرة ويتفوق على نموذج بـ256 رمزًا على ImageNet-512

قدّم باحثون على arXiv طريقة APEX، التي تعالج المشكلة الرئيسية في الانتشار منخفض الكلفة: كلما زاد ضغط التمثيل الكامن، صعب توليده. على ImageNet-512 يتفوق APEX على الطرق الحالية عند كل عدد قنوات جرى اختباره في نمطي الضغط 64x و128x. وعند تساوي كلفة التدريب مع استخدام أخذ العينات الموجَّه (guided sampling)، يتفوق أيضًا على نموذج بـ256 رمزًا في جميع الميزانيات التي جرى اختبارها، ويتسع الفارق كلما قلّت الحوسبة. الكود منشور على صفحة المشروع.

المعضلة التي بدأ منها كل شيء

تتناسب كلفة الانتشار الكامن (latent diffusion) طرديًا مع عدد الرموز (tokens) التي يعمل عليها مزيل الضوضاء. وقلّة الرموز تعني تدريبًا واستدلالًا (inference) أسرع وأرخص. لكن المعلومات الموجودة في الصورة لا تختفي. وإذا قلّ عدد الرموز، فلا بد من حشر هذه المعلومات في قنوات كل رمز.

ومن هنا ينشأ التناقض الذي يسميه المؤلفون معضلة إعادة البناء والتوليد (reconstruction-generation dilemma). فزيادة القنوات تتيح للمشفّر التلقائي استعادة الصورة بدقة أكبر. وفي الوقت نفسه يصبح هذا التمثيل الكامن الكثيف أصعب في النمذجة على نموذج الانتشار. ويضيع المكسب في إعادة البناء بسبب التراجع في التوليد.

ما الذي يقترحه APEX

يرمز الاسم إلى Asynchronous Prefix denoising for EXtreme compression. ويتكوّن الحل من جزأين يعملان معًا.

الجزء الأول فضاء كامن هرمي. يرتّب المشفّر التلقائي القنوات بحسب البادئات (prefixes): تأتي أولًا القنوات التي تحمل بنية الصورة، ثم القنوات المسؤولة عن التفاصيل. فبداية متجه القنوات تصف الصورة العامة، وما يليها يزيدها دقة.

الجزء الثاني إزالة ضوضاء غير متزامنة بحسب مجموعات القنوات. يولّد مزيل ضوضاء واحد مشترك مجموعات مختلفة في لحظات زمنية محلية مختلفة. ولا يزداد عدد الرموز بذلك، ولا تتعقد البنية بنماذج منفصلة لكل مجموعة. ووفق وصف المؤلفين، يتيح هذا الأسلوب توليد البنية والتفاصيل بطريقتين مختلفتين، بدل تحميل التمثيل الكامن كله في مهمة واحدة.

أرقام من الورقة

• الاختبار: ImageNet-512.
• أنماط الضغط: 64x و128x.
• المقارنة بالطرق الحالية: APEX أفضل عند كل عدد قنوات جرى اختباره.
• المقارنة بنموذج الـ256 رمزًا: APEX أفضل في كل ميزانية جرى اختبارها، عند تساوي كلفة التدريب واستخدام أخذ العينات الموجَّه (guided sampling).
• الاتجاه: كلما انخفضت ميزانية الحوسبة، زاد المكسب.
• رموز إضافية: غير مطلوبة.

النقطة الأخيرة المتعلقة بالميزانية أهم من غيرها. فإذا اتسع الفارق تحديدًا حيث تقل الحوسبة، فالطريقة مهمة لمن يحتاج إلى التوفير قبل أي شيء آخر.

ماذا يعني هذا عمليًا

يمنح APEX الفرق التي تبني نماذجها الخاصة لتوليد الصور سببًا جاهزًا لإعادة حساب المفاضلة بين عدد الرموز والجودة. والكود مفتوح، لذلك يمكن إعادة إنتاج النتيجة على ImageNet-512 دون الحاجة إلى هندسة عكسية للورقة.

لكن الحذر مطلوب أيضًا. فالملخص يذكر نتائج على ImageNet-512 فقط. ولا يتضح منه هل ينجح النهج في تحويل النص إلى صورة (text-to-image) على مجموعات بيانات كبيرة، أو مع الفيديو، أو مع بنى أخرى لمزيل الضوضاء. كما لم تُذكر كلفة المشفّر التلقائي ذي الهرمية في القنوات نفسه: كم يكلّف تدريبه، ومدى حساسيته للإعدادات.

يستحق النص الكامل القراءة للإجابة عن ثلاثة أسئلة. كيف يُبنى جدول الأزمنة غير المتزامنة بالضبط. وما المكسب الفعلي في زمن الاستدلال الذي يحققه الضغط 128x. وهل تبقى الميزة عند توسيع حجم النموذج. وتحدد هذه الإجابات ما إذا كان APEX سيصبح أداة عمل، أم سيبقى عملًا أكاديميًا متقنًا.