UCSD تدرّب نموذجاً لتوليد الصور بـ 3 مليارات معامل خلال 6600 ساعة GPU على H100

يقترح فريق من جامعة كاليفورنيا في سان دييغو طريقة جديدة لتدريب النماذج التي ترسم الصور انطلاقاً من النص. يقسّم الفريق التوليد إلى مهمتين: فهم ما ينبغي أن تحتويه الصورة، ثم رسمه بالتفصيل. تتولى المهمة الأولى نموذج انحدار ذاتي يتنبأ بالرموز واحداً تلو الآخر، كما يفعل النموذج اللغوي. وتتولى الثانية نموذج انتشار، أي «إظهار» الصورة تدريجياً من الضجيج. وبهذه الطريقة درّب الباحثون نموذجاً بـ 3 مليارات معامل في 6600 ساعة GPU فقط على H100. وحقق النموذج 86 على GenEval و87 على DPG-Bench. يفحص GenEval ما إذا نقل النموذج بشكل صحيح الأجسام وعددها وألوانها ومواضعها كما وردت في الأمر النصي. أما DPG-Bench فيجري الفحص نفسه على الأوصاف الطويلة المفصّلة.

عمود فقري يتعلم المعنى وآخر يستكمل البكسلات

عادةً تُقارَن نماذج الانحدار الذاتي بنماذج الانتشار بوصفها متنافسة: أيهما يعطي صورة أفضل. ويرى المؤلفون أن هذه المقارنة غير سليمة، لأن كل نظام منهما يحل مهمتين مختلفتين في آن واحد. فعليه أولاً أن يستوعب المعرفة البصرية: كيف تبدو الأشياء وكيف تتوزع في المشهد. وعليه ثانياً أن يجسّد هذه المعرفة في صورة مفصّلة.

بُني التصميم على غرار النماذج اللغوية، حيث يأتي التدريب المسبق أولاً ثم التدريب اللاحق.

• في المرحلة الأولى يحوّل مُرمِّز مجمَّد الصورة إلى رموز منفصلة. ويتعلم نموذج انحدار ذاتي نصي التنبؤ بها. تُختار مواضع التنبؤ بترتيب عشوائي، ويتلقى النموذج رموزاً خاصة تعمل كمؤشرات. • في المرحلة الثانية يُجمَّد العمود الفقري الانحداري الذاتي. وتُضاف إليه وحدات انتشار قابلة للتدريب تستخدم طبقات الانتباه فيه وتمثيلاته الداخلية. • يعمل الانتشار مباشرة في فضاء البكسلات، من دون فضاء كامن. ويُدرَّب بطريقة flow matching، أي أنه يتنبأ بكيفية الانتقال من الضجيج إلى الصورة النظيفة. • عند التدريب يتلقى المُصيِّر (renderer) رموز الصورة الحقيقية. وعند التوليد تحل محلها الرموز التي أنتجها نموذج الانحدار الذاتي من نص الطلب.

أفضل إعادة بناء لا تعني صورة أفضل

أُجريت التجربة الأولى على نماذج بحجم نهائي 400M معامل. تكوّنت النسخ ذات المرحلتين من عمود فقري بـ 250M ومُصيِّر بـ 150M. وقورن الانحدار الذاتي بالانتشار الكامن (LDM) بوصفه تدريباً مسبقاً.

• حقق الانحدار الذاتي مع الانتشار 64,8 على GenEval بعد 100 ألف تحديث فقط. أما الانتشار البكسلي الخالص فأعطى 61,2 بعد 400 ألف تكرار. • بعد مواصلة التدريب ارتفعت النتيجة إلى 65,5 على GenEval و71,1 على DPG-Bench. • أظهر الانتشار الكامن المباشر 57,3، بينما لم تحقق سلسلة «انتشار كامن ثم بكسلي» سوى 56,6. أي أن مجرد التقسيم إلى مرحلتين لا يضمن شيئاً. المطلوب هو الانحدار الذاتي تحديداً.

ثم فحص الباحثون ما الذي ينبغي أن تتعلمه مرحلة الانحدار الذاتي. قارنوا بين ثلاثة مُرمِّزات. الأول، Recon، مبني على Emu3.5 ويحفظ التفاصيل اللازمة لاستعادة الصورة. والثاني، Semantic-Recon، يكمّم (quantize) سمات المشفّر المجمَّد في Qwen2.5-VL ويُدرَّب مع إعادة البناء. والثالث، Semantic-LM، يُدرَّب فقط عبر التنبؤ بالرمز التالي داخل Qwen2.5-VL المجمَّد، من دون مفكّك ترميز للصور ومن دون دالة خسارة لإعادة البناء.

جاءت النتيجة مفاجئة. يعيد Recon بناء الصور أفضل من غيره ويولّد أفضل منهم بمفرده، لكن نتيجته النهائية هي الأضعف. يعطي Semantic-Recon 65,5 على GenEval مقابل 54,7 لـ Recon، و71,1 على DPG-Bench مقابل 63,0. وفي GenEval بالانحدار الذاتي وحده يتفوق Recon (57,49 مقابل 50,44)، لكن الترتيب ينقلب بعد الانتشار: 54,67 مقابل 65,51. أما Semantic-LM فحقق من دون أي إعادة بناء 64,8 على GenEval و67,7 على DPG-Bench. ويخلص المؤلفون إلى أن الجودة النهائية تحددها دلالة الرموز، لا قدرتها على استعادة البكسلات بدقة.

قوانين التوسّع وميزانية 6600 ساعة GPU

عندما تكون المهمتان منفصلتين يبرز سؤال: كيف تُوزَّع الحوسبة بين المرحلتين. استخلص المؤلفون قوانين توسّع منفصلة للتدريب المسبق بالانحدار الذاتي وللتدريب اللاحق بالانتشار. وضُبط قانون الانحدار الذاتي على 18 نموذجاً تتراوح بين 55,71M و2,43B معامل. وللمقارنة دُرّب أيضاً انتشار بكسلي من الصفر، مع ضبط معاملاته الفائقة (hyperparameters) بشكل منفصل.

عند تساوي حجم النموذج وحجم البيانات، يُظهر الانتشار بعد التدريب المسبق بالانحدار الذاتي خسارة أقل ومحاذياً مقارباً (asymptote) أدنى مما يُظهره النموذج المدرَّب من الصفر. فالتدريب المسبق لا يسرّع التقارب فحسب، بل يرفع سقف جودة الرندرة.

وبناءً على هذه القوانين اختير نموذج بنحو 3B معامل، ووُزّعت الميزانية بين المرحلتين. والنتيجة نموذج text-to-image يحقق 86 على GenEval و87 على DPG-Bench.

يعني ذلك للمهندسين أن مُرمِّز توليد الصور لا يحتاج إلى مفكّك ترميز. فتكفي دلالات يُتعلَّم منها عبر الإشارة اللغوية. وعندها يتيح الفصل بين «المعرفة منفصلة والرندرة منفصلة» بناء نموذج منافس بميزانية متواضعة. وللمختبرات التي لا تملك عناقيد حوسبة كبيرة، يمثل ذلك خفضاً ملحوظاً لعتبة الدخول. غير أن ثمة تحفظاً: النتائج مستمدة من اختبارات أداء محددة ومن عدة مُرمِّزات، أما عمومية الطريقة فما زال يتعيّن التحقق منها.