بنية SpecSlot تخفض FID بمقدار 2,84 مقابل JiT-CM وتوفّر 3,9% من GFLOPs

لا تحتاج النماذج التوليدية التي تعمل مباشرة في فضاء البكسل إلى مشفّر تلقائي (autoencoder) مدرَّب بشكل منفصل، ولا إلى عنق الزجاجة الناتج عن ضغطه. لكن لذلك ثمنًا هو التسلسل الطويل، إذ يجب تحويل الصورة كاملة إلى رموز (tokens) في المحوّل. تفصل بنية SpecSlot بين أمرين يرتبطان عادةً ارتباطًا وثيقًا: مدى التفصيل الذي يُخرج به النموذج الصورة، وعدد الرموز المشاركة في الانتباه العام. على ImageNet-512 خفّضت الإعدادات W256/K4 مقياس FID (مقياس المسافة بين الصور المولَّدة والحقيقية، وكلما انخفض كان أفضل) بمقدار 2,84 مقارنةً بـ JiT-CM. وهذا نموذج تحكم من JiT اختاره المؤلفون ليتطابق معها في FLOPs. وفي الوقت نفسه استهلكت SpecSlot GFLOPs أقل بنسبة 3,9%.

لماذا تصطدم شبكة الرقع بالانتباه التربيعي

في معظم المحوّلات العاملة في فضاء البكسل يقابل كل رمز رقعة مكانية (patch) واحدة. وتحدد شبكة الرقع في آن واحد ما يقرؤه النموذج، وما يتنبأ به كل رمز، وعدد الرموز التي تدخل في الانتباه العام. فإذا صُغّرت الرقعة في صورة 256×256 من 16 إلى 8، ارتفع عدد الرموز من 256 إلى 1024، وارتفع معه الجزء التربيعي من كلفة الانتباه.

تعالج الأساليب القائمة المشكلة من زوايا مختلفة. يمرّر JiT كل رقعة عبر التسلسل العام. وتنقل الأنظمة متعددة المقاييس التفاصيل إلى مراحل إضافية أو إلى رؤوس «تفصيلية». أما أساليب الانتباه الفعّال فتقصّر التسلسل باستخدام النوافذ، أو رموز عامة منتقاة، أو تناثر مُتعلَّم. ويستخدم Spectral Forcing البنية الترددية، لكن فقط لتصفية المدخلات المشوّشة، بينما تبقى رموزه رقعًا مكانية. وفي كل هذه المخططات يرتبط مستوى تفصيل المخرجات بشبكة الرقع، حتى لو كان التبادل بين الرموز مضغوطًا أو محدودًا.

Read, Allocate, Route: المراسي والخانات الطيفية

ينطلق المؤلفون من ملاحظة مفادها أن الترددات المنخفضة تحمل التنظيم العام للإطار وتستفيد من تبادل المعلومات بعيد المدى، أما التفاصيل الدقيقة فهي محلية في معظمها. وفي المخططات القائمة يتحدد أسلوب تواصل الرمز مع بقية الرموز بموقعه، لا بما يُنتجه في المخرجات. وتغيّر SpecSlot ذلك، وتبني الحساب من ثلاث عمليات.

Read: تُقرأ الصورة على شبكة من المراسي المكانية التي تجمع المدخلات. وتتيح طبقة التفاف صغيرة بتهيئة صفرية للخلايا المتجاورة تبادل المعلومات قبل توزيع الأدوار. Allocate: يُوسَّع كل مرساة إلى خانات (slots) مفهرسة، وتحصل كل خانة على مجموعة شعاعية خاصة بها وغير متداخلة من معاملات DCT (التحويل الجيبي التمامي المتقطع). Route: يحدد الدور أسلوب التواصل. فإلى المرحلة العامة لا يدخل من كل مرساة سوى الخانة ذات المجموعة الأدنى ترددًا، بينما تتفاعل جميع الخانات داخل المرساة الواحدة.

يُسمّى جدول الانتباه GGLL (global–global–local–local): يدخل حامل واحد منخفض التردد عن كل مرساة في الكتل العامة، وتعمل جميع الخانات في الكتل المحلية داخل المرساة. وتفكّ الحالات النهائية للخانات ترميز أساس طيفي قائم على lapped-DCT، إضافةً إلى تصحيح مكاني محاذٍ للمراسي. ثم يُجمع الاثنان في فضاء البكسل. ولا يضيف التصحيح رموزًا جديدة. وتبقى الحالة والهدف ودالة الخسارة في فضاء البكسل، ويجري تدريب النموذج ضمن إطار rectified flow.

نتيجة ذلك ظهور متغيرين منفصلين للتوزيع. أحدهما يحدد كثافة المراسي المكانية، والآخر التقسيم الطيفي داخل المرساة. ويزداد العدد الكلي للخانات، لكن التسلسل العام لا يحتوي إلا على الحوامل. ويمكن إنفاق ميزانية ثابتة من الرموز إما على مراسٍ أكثر كثافة وإما على أدوار طيفية أدق. وبذلك يصبح اختيار حجم الرقعة مسألة موازنة صريحة بين الجودة والحساب.

ماذا أظهرت القياسات

على ImageNet-256 وImageNet-512 تقدّم SpecSlot نقطتي تشغيل مقيستين بين إعدادات JiT الرخيصة والمكلفة. وعلى ImageNet-512 تتخلف الإعدادات W256/K4 عن JiT-B/16 في FID بمقدار 0,69 فقط، لكنها أقل كلفة بنسبة 38,2%. وتغطي نوافذ المخرجات الأكبر عددًا أكبر من البكسلات مع بقاء التسلسل العام دون تغيير. ويربط المؤلفون بذلك كون المكسب مقارنةً بـ JiT-CM أكبر.

وفي توليد الصور من النص تفوقت SpecSlot على JiT-B/8 بمقدار 1,06 نقطة في DPG-Bench (اختبار مطابقة الصورة لوصف معقد)، بتكلفة تمرير أمامي أقل بنسبة 40,6%.

وللمؤلفين أنفسهم تحفظ: فتساوي حصص المعاملات بين الخانات لا يعني تساوي الكلفة، لأن التواصل والإسقاطات يتغيران مع التقسيم بشكل مختلف. لذلك ينبغي مقارنة التكاليف المقيسة، لا عدد الرموز وحده. وقد نشر المؤلفون الشيفرة والأوزان على GitHub وHugging Face.